El proceso de rastreo de un sitio web es el mecanismo mediante el cual Google descarga y analiza el contenido de las páginas en Internet. El rastreador de Google recorre la web en busca de nuevas páginas y contenido para indexar.
Este proceso de rastreo se realiza a través de un programa automatizado llamado rastreadores. Google define el rastreo como la descarga de texto, imágenes y videos de las páginas encontradas en Internet.
¿Qué significa que Google conoce, invita y presenta el sitio web?
Cuando Google "conoce" un sitio web, significa que está realizando el proceso de rastreo para comprender su contenido. Al "invitar" el sitio web, Google lo está indexando, es decir, lo está incluyendo en su índice de búsqueda.
Por último, cuando Google "presenta" el sitio web, significa que lo muestra a los usuarios que están realizando búsquedas relacionadas con su contenido. Este proceso de presentación se conoce como posicionamiento en los resultados de búsqueda.
¿Qué es el archivo robots.txt y qué instrucciones contiene?
El archivo robots.txt es un archivo en el que se proporcionan instrucciones o reglas a Google sobre qué partes del sitio web puede o no puede rastrear. Es una forma de controlar qué contenido se muestra a los motores de búsqueda.
El archivo robots.txt se compone de una serie de instrucciones llamadas "user agents", que indican a qué rastreador específico se dirigen las reglas. También pueden incluir instrucciones de "disallow", que indican las páginas o carpetas que no deben ser rastreadas, y "allow", que indica las páginas que sí pueden ser rastreadas.
Además, el archivo puede contener un enlace al archivo "sitemap.xml", que proporciona una lista de las URL importantes del sitio web.
¿Qué importancia tiene el archivo robots.txt para el SEO?
El archivo robots.txt es una herramienta importante para el SEO, ya que permite controlar qué contenido se muestra a los motores de búsqueda.
Es fundamental asegurarse de que no haya instrucciones en el archivo que impidan el rastreo de contenido importante para el sitio web, como las páginas de compra o contratación de servicios. Tenemos que revisar y optimizar el archivo robots.txt para garantizar que el contenido relevante sea rastreado e indexado correctamente por Google.
¿Cómo se ve un archivo robots.txt en la práctica?
Un ejemplo de archivo robots.txt puede tener la siguiente estructura:
En este ejemplo, se le da la instrucción específica a Googlebot de que no rastree la URL "/no-googlebot". Por otro lado, con el asterisco (*) se permite que cualquier rastreador acceda y rastree todo el sitio web. Además, se incluye el enlace al archivo sitemap.xml para facilitar el rastreo e indexación del contenido.
¿Cómo acceder al archivo robots.txt de un sitio web?
Para acceder al archivo robots.txt de cualquier dominio, simplemente debes escribir en la barra de direcciones del navegador "/robots.txt" después del nombre de dominio. Por ejemplo, www.ejemplo.com/robots.txt. Esto te permitirá ver el contenido y las reglas establecidas en el archivo robots.txt de ese sitio web en particular.
¿Qué preguntas se pueden hacer sobre el archivo robots.txt en el proceso de reconocimiento SEO?
Durante el proceso de reconocimiento SEO, se pueden formular varias preguntas relacionadas al archivo robots.txt para comprender mejor su funcionamiento y para identificar posibles problemas. Algunas de estas preguntas pueden incluir:
¿El sitio web cuenta con un archivo robots.txt?
¿Existen reglas en el archivo que impiden el rastreo de contenido importante?
¿El archivo robots.txt es óptimo o requiere optimización?
¿Hay alguna limitación o restricción en el acceso de los motores de búsqueda al sitio web?
¿Se incluye un sitemap para facilitar el rastreo e indexación del contenido?
Responder estas preguntas ayudará a identificar cualquier problema o ajuste necesario en el archivo robots.txt y asegurarse de que el sitio web sea rastreado adecuadamente por los motores de búsqueda.
Rastreo e Indexación en SEO: Uso del archivo robots.txt
El objetivo de rastrear un sitio web como lo haría Google es conocer cuáles son aquellos factores críticos que se debe tener en cuenta al momento de elaborar la estrategia de SEO.
Volvemos a la frase “Google te conoce, te invita y te presenta” En términos técnicos sería “Google te rastrea, te indexa y te posiciona en los resultados de búsquedas”.
Definición de rastreo de Google: proceso de descarga de texto, imágenes y videos de páginas que encuentra en internet mediante programas automatizados, llamados rastradores.
¿Qué impediría que Google pueda rastrear a una web? Existe un archivo muy importante: robots.txt. Un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs de tu sitio pueden acceder y a cuáles no. Para acceder a los archivos robots.txt de cualquier sitio web debes escribir /robots.txt después del dominio.
Reglas en archivos Robots.txt
user-agent: Rastreador de buscador (el * es para representar cualquier motor de búsqueda).
allow: Todo lo que debe ser rastreado.
disallow: No debe de ser rastreado.
sitemap: Mapa del sitio web.
Por nada del mundo debes impedir el rastreo de contenido importante para la empresa o el sitio web.
Renderizacion = Rendering (No es mencionado, pero hay aplicaciones que dependen de este proceso para poder ver su contenido. Es un proceso que usa bastantes recursos, así que por eso no sucede tanto)
Qué pasa si un sitio no tiene el archivo Robots.txt? Cuando pongo la URL dice "Not Found
The requested URL was not found on this server." Se debería crear?
Hola Iván te consulto, en un e-commerce se recomienda bloquear la página de orders, checkouts? He revisado varios e-commerce y veo que manejan esta práctica
Hola a todos, ingrese a un sitio web y me di cuenta que no tiene todos los campos que explicaron.. no aparece por ejemplo el Allow ¿Que pasa aca ? hay algo mal? como se soluciona?
Si al intentar acceder al archivo robots.txt de un sitio web te redirige a la página de inicio, significa que el archivo no está presente. En este caso, el sitio no ha definido reglas específicas para los rastreadores de Google. Debes asegurarte de que el sitio tenga un archivo robots.txt para poder controlar qué contenido se puede o no rastrear. Puedes crear uno desde cero, definiendo las instrucciones necesarias y asegurándote de que no bloquee páginas importantes para el SEO.
Creo que en comentarios ya vi la duda y no tiene respuesta, así que la vuelvo a plantear: ¿cómo se crea el archivo robots.txt y a dónde se añade o agrega?
A esta pregunta sumo otra más: ¿cómo sé que las reglas del archivo robots.txt no está bloqueando páginas importantes que deben ser rastreadas? Es decir, ¿cómo se determina qué información sí debe ser rastreada por el archivo? Pregunto porque me topé con un sitio web que tiene varios disallows y no sé identificar si en realidad deberían de rastrearse.
Abre un programa de texto plano en tu computador, como el Bloc de Notas (en Windows) o TextEdit (en Mac, asegúrate de que esté en modo texto plano, no en "Texto Enriquecido").
Escribe las reglas que necesites. Por ejemplo, para empezar, un archivo muy común y permisivo se ve así:
robots.txt
User-agent: *
Allow: /
Sitemap:
(Esto le dice a todos los robots que pueden rastrear todo tu sitio y donde está el mapa del sitio).
Guarda el archivo con el nombre exacto: robots.txt (todo en minúsculas y sin ningún otro nombre o extensión).
b) Dónde ponerlo (esto es clave):
Tienes que subir este archivo a la raíz o directorio principal de tu sitio web.
¿Qué significa eso? Que cualquier persona pueda acceder a él escribiendo:
Ejemplo: Si tu dominio es , el archivo debe estar en
Cómo se hace: Usualmente lo subes usando el panel de control de tu hosting (como cPanel) por el administrador de archivos, o mediante un programa FTP como FileZilla, colocándolo en la misma carpeta donde está tu página de inicio (por ejemplo, donde está el index.html o index.php).
2. ¿Cómo saber si estoy bloqueando algo importante? (La pregunta del millón)
Esta es la parte más delicada. Aquí te van unos pasos y una regla de oro:
Paso 1: Revisa qué estás bloqueando.
Mira las líneas que dicen Disallow:. Pregúntate: "¿Quiero que esta página aparezca en Google?".
Ejemplo de bloques SEGUROS (que normalmente SÍ se bloquean):
Disallow: /admin/ → Paneles de administración. (¡Nunca quieres que esto esté en Google!)
Disallow: /wp-admin/ → Si usas WordPress, esta carpeta se bloquea.
Disallow: /cart/ → Carritos de compra (son herramientas, no contenido útil para buscar).
Disallow: /search/ → Páginas de búsqueda interna de tu sitio.
Disallow: /tmp/ → Carpetas temporales o de log.
Ejemplo de bloques PELIGROSOS (que NUNCA debes bloquear):
Disallow: / → ¡ESTE ES GRAVÍSIMO! Bloquea TODO tu sitio.
Disallow: /blog/ → Si tu blog es tu contenido principal, esto lo hará desaparecer.
Disallow: /productos/ → Si tienes una tienda, esto es un suicidio.
Paso 2: Usa la Herramienta de Google.
Google te ayuda a probarlo. En Google Search Console (una herramienta gratuita y esencial):
Ve a tu propiedad (tu sitio web).
Busca la opción "Probador de robots.txt".
Ahí puedes pegar el contenido de tu archivo y probar URLs específicas de tu sitio.
La herramienta te dirá "Se permite" o "Se bloquea" para cada URL que pruebes. ¡Úsala para verificar las páginas importantes!
Paso 3: La Regla de Oro.
Si no estás 100% seguro de para qué sirve una carpeta o página, investiga primero antes de bloquearla. Cuando dudes, es mejor NO bloquearla. Es menos peligroso dejar que Google vea algo que quizá no es tan importante, que bloquear por error tu página de contacto o de productos.
