No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Robots.txt

12/19
Recursos

Aportes 11

Preguntas 5

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Faltaría el user agent y por supuesto los allow:
User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap:

El archivo robots.txt es una herramienta que podemos usar para controlar el acceso de los motores de búsqueda a nuestro sitio web. Se encuentra en la raíz de nuestro sitio y contiene instrucciones para los robots o rastreadores de los motores de búsqueda sobre qué páginas deben indexar y cuáles deben ignorar.

El formato es sencillo y consiste en un conjunto de líneas de instrucciones que se dividen en dos partes: User-Agent y Disallow. User-Agent nos permite especificar para qué motor de búsqueda están destinadas las instrucciones siguientes. Por ejemplo, si ponemos “User-Agent: Googlebot”, estamos diciendo que las instrucciones siguientes son para el robot de Google.

En cuanto a Disallow, nos permite especificar las páginas que el robot debe ignorar. Por ejemplo, si ponemos “Disallow: /pagina-secreta”, estamos diciendo que el robot debe ignorar la página “/pagina-secreta”.

Es importante tener en cuenta que los motores de búsqueda no están obligados a respetar las instrucciones del archivo robots.txt, por lo que es posible que algunas páginas sean indexadas a pesar de haber sido excluidas. Por esta razón, es crucial que asegurémonos de no bloquear páginas importantes que deben ser indexadas, ya que esto puede afectar negativamente nuestro SEO.

En conclusión, el archivo robots.txt es una herramienta valiosa que nos permite controlar el acceso de los motores de búsqueda a nuestro sitio web. Sin embargo, es importante utilizarlo de manera adecuada y tener en cuenta sus limitaciones.

Para los que usan woocommerce este robots txt es ideal para no tener tanto problemas con el index:
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
Disallow: *page
Disallow: *cart
Disallow: *my-account
Disallow: *account/
Disallow: *?remove_item
Disallow: *search

falta el user-agent, en mi pagina lo tengo habilitado a todos los robots con “user-agent: *”

user-agent: identifies which crawler the rules apply to.

Elementos que es prudente no permiter leer por los Robots son: ![](https://static.platzi.com/media/user_upload/image-95242b06-aada-4d5f-be8e-30a9d523b614.jpg)

La respuesta al reto es:

User-agent: *
Allow: /*

User-agent: *
Allow: /*

User-agent: *
Allow: /*

falta el user-agent, para decirle con que robot hablamos