Faltaría el user agent y por supuesto los allow:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap:
Fundamentos de SEO e-commerce
Por qué hacer SEO en un e-commerce
¿Por qué aparecer en los resultados de Google?
Cómo llegar a la primera posición en Google
Search Intent / Intención de búsqueda
¿Cómo hace Google para saber la intención de búsqueda?
Arquitectura web para un e-commerce
Cómo categorizar una tienda
Encontrar las categorías en una investigación de palabras clave
Seleccionar palabras clave para productos y categorías
Factores técnicos para el contenido
Contenido pobre en categorías y productos
Productos con variaciones menores
Productos sin inventario
Robots.txt
Personalización de URLs
Factores de SEO On-page e-commerce
Qué hace un buen título de SEO y meta descripción
Escribir buenos títulos y meta descripciones para categorías y productos
Título H1 de productos y categorías
Optimización de imágenes
Contenido y descripción de categorías y productos
Seguimiento y mejora continua
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Aportes 11
Preguntas 5
Faltaría el user agent y por supuesto los allow:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap:
El archivo robots.txt es una herramienta que podemos usar para controlar el acceso de los motores de búsqueda a nuestro sitio web. Se encuentra en la raíz de nuestro sitio y contiene instrucciones para los robots o rastreadores de los motores de búsqueda sobre qué páginas deben indexar y cuáles deben ignorar.
El formato es sencillo y consiste en un conjunto de líneas de instrucciones que se dividen en dos partes: User-Agent y Disallow. User-Agent nos permite especificar para qué motor de búsqueda están destinadas las instrucciones siguientes. Por ejemplo, si ponemos “User-Agent: Googlebot”, estamos diciendo que las instrucciones siguientes son para el robot de Google.
En cuanto a Disallow, nos permite especificar las páginas que el robot debe ignorar. Por ejemplo, si ponemos “Disallow: /pagina-secreta”, estamos diciendo que el robot debe ignorar la página “/pagina-secreta”.
Es importante tener en cuenta que los motores de búsqueda no están obligados a respetar las instrucciones del archivo robots.txt, por lo que es posible que algunas páginas sean indexadas a pesar de haber sido excluidas. Por esta razón, es crucial que asegurémonos de no bloquear páginas importantes que deben ser indexadas, ya que esto puede afectar negativamente nuestro SEO.
En conclusión, el archivo robots.txt es una herramienta valiosa que nos permite controlar el acceso de los motores de búsqueda a nuestro sitio web. Sin embargo, es importante utilizarlo de manera adecuada y tener en cuenta sus limitaciones.
Para los que usan woocommerce este robots txt es ideal para no tener tanto problemas con el index:
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
Disallow: *page
Disallow: *cart
Disallow: *my-account
Disallow: *account/
Disallow: *?remove_item
Disallow: *search
falta el user-agent, en mi pagina lo tengo habilitado a todos los robots con “user-agent: *”
user-agent: identifies which crawler the rules apply to.
La respuesta al reto es:
User-agent: *
Allow: /*
User-agent: *
Allow: /*
User-agent: *
Allow: /*
falta el user-agent, para decirle con que robot hablamos
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?