Auditoría de archivos robots.txt para SEO y visibilidad en Google

Contenido del curso

SEO: más que robots y palabras clave

Rastreo y accesibilidad

Arquitectura del sitio web

Elementos técnicos en contenidos

Velocidad de carga

Microformatos y schema.org

Optimización Multi-idioma y/o Multi-país

30
Implementación de la etiqueta hreflang para SEO internacional
05:24 min

SEO para sitios en JavaScript

Conclusiones

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:008:46

Auditoría de archivos robots.txt para SEO y visibilidad en Google

Curso de Optimización de SEO Técnico

Clase 6 de 35

Clase 6 / 35

Recursos

Existe un archivo pequeño pero poderoso que puede hacer que tu sitio web completo desaparezca de los resultados de Google. Se llama robots.txt y, aunque su función es controlar qué partes de tu sitio pueden rastrear los buscadores, un error en su configuración puede provocar que todo tu contenido quede invisible. Entender cómo funciona y cómo auditarlo es una habilidad fundamental en cualquier proceso de SEO técnico.

¿Qué es el archivo robots.txt y cómo funciona?

El archivo robots.txt es un archivo de texto plano que se ubica en la raíz de tu dominio. Para acceder a él basta con escribir tu dominio seguido de /robots.txt, por ejemplo: sitio.com.co/robots.txt [0:36]. Este archivo actúa como un canal de comunicación directa con Google y otros motores de búsqueda, indicándoles a qué secciones del sitio pueden o no acceder.

Dentro del archivo encontrarás principalmente dos directivas:

Allow: permite el acceso a una ruta específica del sitio.
Disallow: bloquea el acceso a una ruta o directorio determinado.

Cuando ves Disallow: /imagenes, le estás diciendo a Google que no entre a la carpeta de imágenes [1:25]. Pero si combinas ambas directivas puedes crear excepciones. Por ejemplo, puedes bloquear /imagenes con Disallow y al mismo tiempo usar Allow: /imagenes/2020 para permitir el acceso únicamente a las imágenes del año 2020 [1:40]. Esto resulta útil para bloquear contenido antiguo sin afectar el más reciente.

¿Qué sucede si se bloquea todo el sitio por error?

Uno de los errores más graves ocurre cuando aparece la línea Disallow: / en el archivo. Esa simple barra diagonal después de Disallow significa bloquear todo el sitio web completo [1:15]. Esto puede pasar por desconocimiento o por una configuración accidental, y es precisamente lo que debes verificar durante una auditoría.

También es importante saber que la directiva No Index dentro del robots.txt ya no es válida. Google anunció que dejó de aceptar esta instrucción en el archivo robots.txt [1:55]. La forma correcta de no indexar páginas se maneja con otros métodos que van más allá de este archivo.

¿Cómo auditar el robots.txt con un checklist práctico?

La auditoría del robots.txt se puede dividir en dos preguntas clave que guían todo el proceso.

¿Está bloqueando alguna ruta importante?

Revisa cada línea Disallow del archivo y pregúntate si esa página o directorio debería estar visible en Google [2:30]. Una ruta importante es aquella que responde a búsquedas reales de los usuarios y que aporta valor. Si encuentras una ruta relevante bloqueada, la acción correcta es eliminar esa línea del robots.txt.

En el ejemplo analizado, las rutas bloqueadas correspondían a carpetas generadas por defecto por el sistema de eCommerce —como imágenes de cuenta, login y checkout— que no necesitan aparecer en buscadores [1:05]. En ese caso, el archivo estaba correctamente configurado.

¿Se necesita bloquear alguna ruta que hoy está visible?

Para detectar páginas que no deberían estar indexadas, utiliza el comando site:tudominio.com directamente en Google [3:40]. Este comando muestra todas las páginas que Google tiene registradas de tu sitio. La tarea consiste en revisar los títulos buscando elementos fuera de lo común:

Páginas con nombres extraños como números sin contexto.
Páginas de plantilla que no pertenecen al sitio, como una página Contact en un sitio en español [4:15].
Páginas de login que no aportan valor en los resultados de búsqueda [5:05].

Cuando identificas estas páginas, tienes dos opciones: eliminar la página directamente o bloquearla desde el robots.txt añadiendo la línea correspondiente, por ejemplo Disallow: /login [5:20].

¿Cómo documentar los hallazgos en el checklist de auditoría?

Cada hallazgo debe registrarse con información clara para que el desarrollador o la persona encargada de implementar los cambios sepa exactamente qué hacer. El registro incluye:

Estado del factor: si necesita optimización o está correcto.
Prioridad: baja, media o alta, según la gravedad del problema.
Acción necesaria: descripción concreta como "bloquear el login y página de contacto de plantilla desde el robots.txt" [5:45].
Archivo adjunto: las líneas exactas que deben agregarse al archivo.
Fecha del hallazgo: para llevar un control temporal de la auditoría.

Documentar de esta forma permite que cualquier persona del equipo ejecute las correcciones sin ambigüedades. La recomendación es crear una copia del checklist y comenzar a auditar cualquier sitio web de tu elección, practicando la revisión de cada factor a medida que se aprende. Si encuentras dudas en el proceso, compartirlas en los comentarios es la mejor forma de resolverlas.

Martin Gimenez

Hace 6 años

Este es el archivo robots.txt de mi e-commerce, esta bien?

we use Shopify as our ecommerce platform

User-agent: * Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkout Disallow: /40019329189/checkouts Disallow: /40019329189/orders Disallow: /carts Disallow: /account Disallow: /collections/sort_bysort_by* Disallow: /collections/+ Disallow: /collections/%2B Disallow: /collections/%2b Disallow: //collections/+* Disallow: //collections/%2B* Disallow: //collections/%2b* Disallow: /blogs/+ Disallow: /blogs/%2B Disallow: /blogs/%2b Disallow: //blogs/+* Disallow: //blogs/%2B* Disallow: //blogs/%2b* Disallow: /design_theme_id Disallow: /preview_theme_id Disallow: /preview_script_id Disallow: /policies/ Disallow: /search Disallow: /apple-app-site-association Sitemap: https://todoveganoarg.com/sitemap.xml

Google adsbot ignores robots.txt unless specifically named!

User-agent: adsbot-google Disallow: /checkout Disallow: /carts Disallow: /orders Disallow: /40019329189/checkouts Disallow: /40019329189/orders Disallow: /design_theme_id Disallow: /preview_theme_id Disallow: /preview_script_id

User-agent: Nutch Disallow: /

User-agent: AhrefsBot Crawl-delay: 10 Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkout Disallow: /40019329189/checkouts Disallow: /40019329189/orders Disallow: /carts Disallow: /account Disallow: /collections/sort_bysort_by* Disallow: /collections/+ Disallow: /collections/%2B Disallow: /collections/%2b Disallow: //collections/+* Disallow: //collections/%2B* Disallow: //collections/%2b* Disallow: /blogs/+ Disallow: /blogs/%2B Disallow: /blogs/%2b Disallow: //blogs/+* Disallow: //blogs/%2B* Disallow: //blogs/%2b* Disallow: /design_theme_id Disallow: /preview_theme_id Disallow: /preview_script_id Disallow: /policies/ Disallow: /search Disallow: /apple-app-site-association Sitemap: https://todoveganoarg.com/sitemap.xml

User-agent: AhrefsSiteAudit Crawl-delay: 10 Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkout Disallow: /40019329189/checkouts Disallow: /40019329189/orders Disallow: /carts Disallow: /account Disallow: /collections/sort_bysort_by* Disallow: /collections/+ Disallow: /collections/%2B Disallow: /collections/%2b Disallow: //collections/+* Disallow: //collections/%2B* Disallow: //collections/%2b* Disallow: /blogs/+ Disallow: /blogs/%2B Disallow: /blogs/%2b Disallow: //blogs/+* Disallow: //blogs/%2B* Disallow: //blogs/%2b* Disallow: /design_theme_id Disallow: /preview_theme_id Disallow: /preview_script_id Disallow: /policies/ Disallow: /search Disallow: /apple-app-site-association Sitemap: https://todoveganoarg.com/sitemap.xml

User-agent: MJ12bot Crawl-Delay: 10

User-agent: Pinterest Crawl-delay: 1

Diego Felipe Salamanca Rojas

Hace 6 años

mi archivo robots.txt esta como el tuyo, lograste saber si así esta bien?

Virgilio J. Centeno M.

Hace 5 años

Hola Martín, para conocer con exactitud si tu robots.txt esta bien configurado, primero es necesario que tengas claro cual es la estructura de tu sitio web, en ella vas a observar cuales son las páginas principales de tu dominio y cuales de ella no deseas mostrar.

Comentarios (130)130 comentarios

María Cristina Tamayo Ossa

Cesar Andres Jimenez Arcia

ANTHONY JEAMPIER RANGEL RODRIGUEZ

Sandra Liliana Delgado Gómez

Nahuel Exequiel Roble

Pamela Melo

Erick Alejandro Graterol Barico

María Alejandra Escobar Cardozo

Jafeth Jesús Sánchez Sánchez

Shelly Mayra Alejandra Gaviria Botin

Hace 4 años

Tania Jacqueline Morelos Ramírez

Emmanuel David Rodríguez Hernández

Laurita Florez

Josué Hernández

Kevin Morales

Alexa Cor

Daniel Quiaro

David Alberto Segura Morales

Elvis Henry Pineda Reyes

Iris Valentina Barrios

Leonel Flores

Carlos Diaz

Hace 3 años

Gustavo Adolfo Castañeda Londoño

Anthony Ismael Manotoa Moreno

isabella bolanos

Platzi

Alexander Muñoz Castro

Carlos Andrés Muñoz Sierra

Alejandro Gonzalez

Profesor

Jesús Isaías Ramos

Fanny Zambrano

SANDRO SIMON

SEO: más que robots y palabras clave

Auditoría de SEO Técnico: Identificación y Solución de Problemas

SEO Técnico: Mejora el Tráfico Orgánico de tu Sitio Web

SEO Técnico: Optimización para Motores de Búsqueda

Auditoría Técnica de SEO: Rastreo, Indexación y Ranking en Google

Rastreo y accesibilidad

Checklist de Auditoría SEO Técnico para eCommerce

Auditoría de archivos robots.txt para SEO y visibilidad en Google

Uso de Seoliser para Auditoría de Páginas Web

Creación y gestión de mapas de sitio XML para SEO eficaz

Auditoría y Optimización de Certificados SSL en Sitios Web

Redirecciones y configuraciones HTTPS en sitios web

Solución de Contenidos Duplicados con Etiqueta Canonical

Códigos de Respuesta HTTP y su Impacto en SEO Técnico

Arquitectura del sitio web

Optimización de URLs y migas de pan en arquitectura web

Buenas prácticas para scroll infinito y paginación web

Optimización de la Profundidad de Navegación Web

Optimización Semántica del HTML en Sitios Web

Elementos técnicos en contenidos

Optimización Técnica On Page de Contenidos Web

Optimización de Metatítulos en SEO Técnico

Optimización de Meta Descripciones y Meta Keywords para SEO

Optimización de Títulos H1 para SEO Efectivo

Optimización de Contenidos Web: Auditoría Técnica y Recomendaciones

Auditoría de Textos Alternativos en Imágenes Web

Velocidad de carga

Auditoría de Velocidad de Carga en Sitios Web

Medición y Optimización de Velocidad de Carga Web

Optimización de Caché del Navegador en Sitios Web

Optimización de Imágenes y Uso de CDN para Mejorar Velocidad Web

Optimización de CSS y JavaScript para mejorar velocidad web

Microformatos y schema.org

Implementación de Microformatos para SEO sin Programación

Creación y auditoría de microformatos para SEO en sitios web

Optimización Multi-idioma y/o Multi-país

Implementación de la etiqueta hreflang para SEO internacional

SEO para sitios en JavaScript

Optimización SEO para Sitios Web en JavaScript

Renderizado de Sitios Web en JavaScript para SEO Técnico

Optimización del DOM para Sitios Web en JavaScript

Conclusiones

Conceptos Clave de SEO y Optimización Web

Auditoría de SEO Técnico: Rastreo, Accesibilidad y Velocidad

Auditoría de archivos robots.txt para SEO y visibilidad en Google