Contenido del curso
Rastreo e Indexación en SEO: Uso del archivo robots.txt
El proceso de rastreo de un sitio web es el mecanismo mediante el cual Google descarga y analiza el contenido de las páginas en Internet. El rastreador de Google recorre la web en busca de nuevas páginas y contenido para indexar.
Este proceso de rastreo se realiza a través de un programa automatizado llamado rastreadores. Google define el rastreo como la descarga de texto, imágenes y videos de las páginas encontradas en Internet.
¿Qué significa que Google conoce, invita y presenta el sitio web?
Cuando Google "conoce" un sitio web, significa que está realizando el proceso de rastreo para comprender su contenido. Al "invitar" el sitio web, Google lo está indexando, es decir, lo está incluyendo en su índice de búsqueda.
Por último, cuando Google "presenta" el sitio web, significa que lo muestra a los usuarios que están realizando búsquedas relacionadas con su contenido. Este proceso de presentación se conoce como posicionamiento en los resultados de búsqueda.
¿Qué es el archivo robots.txt y qué instrucciones contiene?
El archivo robots.txt es un archivo en el que se proporcionan instrucciones o reglas a Google sobre qué partes del sitio web puede o no puede rastrear. Es una forma de controlar qué contenido se muestra a los motores de búsqueda.
El archivo robots.txt se compone de una serie de instrucciones llamadas "user agents", que indican a qué rastreador específico se dirigen las reglas. También pueden incluir instrucciones de "disallow", que indican las páginas o carpetas que no deben ser rastreadas, y "allow", que indica las páginas que sí pueden ser rastreadas.
Además, el archivo puede contener un enlace al archivo "sitemap.xml", que proporciona una lista de las URL importantes del sitio web.
¿Qué importancia tiene el archivo robots.txt para el SEO?
El archivo robots.txt es una herramienta importante para el SEO, ya que permite controlar qué contenido se muestra a los motores de búsqueda.
Es fundamental asegurarse de que no haya instrucciones en el archivo que impidan el rastreo de contenido importante para el sitio web, como las páginas de compra o contratación de servicios. Tenemos que revisar y optimizar el archivo robots.txt para garantizar que el contenido relevante sea rastreado e indexado correctamente por Google.
¿Cómo se ve un archivo robots.txt en la práctica?
Un ejemplo de archivo robots.txt puede tener la siguiente estructura:
User-agent: Googlebot Disallow: /no-googlebot User-agent: * Allow: / Sitemap: /sitemap.xml
En este ejemplo, se le da la instrucción específica a Googlebot de que no rastree la URL "/no-googlebot". Por otro lado, con el asterisco (*) se permite que cualquier rastreador acceda y rastree todo el sitio web. Además, se incluye el enlace al archivo sitemap.xml para facilitar el rastreo e indexación del contenido.
¿Cómo acceder al archivo robots.txt de un sitio web?
Para acceder al archivo robots.txt de cualquier dominio, simplemente debes escribir en la barra de direcciones del navegador "/robots.txt" después del nombre de dominio. Por ejemplo, www.ejemplo.com/robots.txt. Esto te permitirá ver el contenido y las reglas establecidas en el archivo robots.txt de ese sitio web en particular.
¿Qué preguntas se pueden hacer sobre el archivo robots.txt en el proceso de reconocimiento SEO?
Durante el proceso de reconocimiento SEO, se pueden formular varias preguntas relacionadas al archivo robots.txt para comprender mejor su funcionamiento y para identificar posibles problemas. Algunas de estas preguntas pueden incluir:
Responder estas preguntas ayudará a identificar cualquier problema o ajuste necesario en el archivo robots.txt y asegurarse de que el sitio web sea rastreado adecuadamente por los motores de búsqueda.
Virginia Sanz
student
Esteban Ospina
student
Patricio Sánchez Fernández
student
Oscar Gomez
student
William Ruiz
student
Madeleine Antonella Sánchez Puyosa
student
Marcos Joaquín Solís Castillo
studentPatricio Sánchez Fernández
studentWilliam Ruiz
student
Ivan Caballero
student
Manuel Alcocer Pech
student
Jorge Arteaga
student
Nestor Rios Garcia
studentWilliam Ruiz
student
Angie Carolina Muñoz Moreno
student
Jorge Ceballos
student
Marco Blanco
student
Nicolás Manzanares
student
Jorge A. Torres
student
Sandra Minerva Delgadillo Rentería
student
Sandra Cortes
student
David Gonzalez
studentDavid Gonzalez
student
Sofía Potdevin
student
Eduar Javier Zapata Montoya
student
Santiago González
student
Edwin Castelblanco Sánchez
student
Paola Andrea Hernández
student
Felix Steven Estrada Montes
student
Norella De la hoz Araujo
student
Diego Sandoval
student
Dannet Gessen León Bustos
student
Luis Angel Frias Herrera
student
Jonathan Lozano Alcalá
student
Blanca Quiriarte
studentSandra Minerva Delgadillo Rentería
student
Arlex Giovanny Ramos Mamian
student
cesar marquez
student¡Hola! Comparto mis apuntas de esta clase:
El objetivo de rastrear un sitio web como lo haría Google es conocer cuáles son aquellos factores críticos que se debe tener en cuenta al momento de elaborar la estrategia de SEO.
Volvemos a la frase “Google te conoce, te invita y te presenta” En términos técnicos sería “Google te rastrea, te indexa y te posiciona en los resultados de búsquedas”.
Definición de rastreo de Google: proceso de descarga de texto, imágenes y videos de páginas que encuentra en internet mediante programas automatizados, llamados rastradores.
¿Qué impediría que Google pueda rastrear a una web? Existe un archivo muy importante: robots.txt. Un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs de tu sitio pueden acceder y a cuáles no. Para acceder a los archivos robots.txt de cualquier sitio web debes escribir /robots.txt después del dominio.
Reglas en archivos Robots.txt
Por nada del mundo debes impedir el rastreo de contenido importante para la empresa o el sitio web.
Gracias por el aporte Virgina. ;)
Excelente resumen...!
Terminos en ingles:
Rastreo = Crawl
Indexación = Index
Renderizacion = Rendering (No es mencionado, pero hay aplicaciones que dependen de este proceso para poder ver su contenido. Es un proceso que usa bastantes recursos, así que por eso no sucede tanto)
Posicionamiento = Ranking
gracias por tu aporte oscar
Excelente! Muchas gracias Oscar
Reglas en archivos Robots.txt • user-agent: Rastreador de buscador (* para representar la generalidad de cualquier motor de búsqueda). • disallow: No debe de ser rasteado. (No rastrear las carpetas que estan definidas aquí). • allow: Todo lo que se permite ser rastreado. • sitemap: Mapa del Sitio.
Buen apunte de los puntos concretos.
gracias por tu aporte marcos
Qué pasa si un sitio no tiene el archivo Robots.txt? Cuando pongo la URL dice "Not Found The requested URL was not found on this server." Se debería crear?
Si, sería lo más recomendable, sobre todo por la indicación del mapa de sitio.
Si, al menos el los básicos como ser:
User-agent: * Allow: / # Sitemap https://sitio.com/sitemap.xml
Se me hizo muy interesante este tema sobre el archivo robots.txt, estos son los ejemplos que elegí:
User-agent: * Disallow: /*/about-us/contact/contact-spotify-password/ Disallow: /*/about-us/contact/contact-spotify-account/ Disallow: /*/get-spotify/* Disallow: /*/xhr/* Disallow: /*/external/* Disallow: /*/legal/advertiser-terms-and-conditions/ Disallow: /*/account/cls/* Disallow: /*/starbuckspartners Disallow: /starbuckspartners Sitemap: https://www.spotify.com/sitemap.xml
User-agent: * Disallow: /account/ Disallow: /support/ Disallow: /widget/ Disallow: /xml/ Disallow: /landing/* Disallow: /*/landing/* Disallow: /search/* Disallow: /*/search/* Disallow: *checkForm=* Disallow: /plugins/* Disallow: /profile/* Disallow: /*/profile/* Disallow: /video/* Disallow: /*/video/* Disallow: /*/acq # French allow: /fr/profile/* Disallow: /fr/profile/*/* # English allow: /en/profile/* Disallow: /en/profile/*/* Disallow: /*/naboo Disallow: /artist/127231622/radio?autoplay=true Allow: /*?autoplay Disallow: /*? User-agent: Twitterbot Disallow: Sitemap: https://www.deezer.com/sitemap.xml Sitemap: https://www.deezer.com/catalog_sitemap.xml Sitemap: https://www.deezer.com/channels_sitemap.xml
gracias por tu aporte nestor
¿Alguna idea de por que deshabilitarían en el caso de spotify "/*/get-spotify/*" ?
Considero que ese Disallow vacío puede generar confusión en los motores de búsqueda
me esta panado los mismo, me aparece User-agent: * Disallow:
Yo lo hice con una web en la que estoy trabajando.
A mi me salió igual con una de wordpress.
¿Qué significa esto? Me pasó igual con una página.
Hola a todos, ingrese a un sitio web y me di cuenta que no tiene todos los campos que explicaron.. no aparece por ejemplo el Allow ¿Que pasa aca ? hay algo mal? como se soluciona?
START YOAST BLOCK
---------------------------
User-agent: * Disallow:
Sitemap: https://www.elpobladosa.com/sitemap_index.xml
---------------------------
END YOAST BLOCK
Tengo el mismo caso, no aparece Allow
Por las características, es de Wordpress. Ellos colocan de forma predeterminada ese archivo tal cual como está
Les recomiendo mirar el archivo de Platzi: https://platzi.com/robots.txt, el cual a los LLMs o AI bots los dirige a https://platzi.com/llms.txt.
Hola Iván te consulto, en un e-commerce se recomienda bloquear la página de orders, checkouts? He revisado varios e-commerce y veo que manejan esta práctica
Ejemplo:
User-agent: * Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /6673498169/checkouts
Wow 😎🤖
comparto ejercicio:
Me encanto el de Platzi
Hice el ejercicio con el sitio web de mi esposo y este es el resultado, aunque no me queda claro lo de los user agent:
User-agent: * Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: GPTBot Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: Google-Extended Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: Bingbot Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: facebookexternalhit Allow: /disk/ Disallow: /disk/*/downloads/ Clean-param: etext&p&lightbox&source Sitemap: https://victorriverafotografia.com.co/sitemap.xml
en lo personal lo que no me queda claro son los disallow, bajo que argumentos o parámetros debes basarte en elegir esos URLs
Yoast SEO, buen plugin
El archivo /robots.txt de la pagina Falabella.com.co tiene mensajes, los dejé subrayados con rojo. ¿son mensajes para los buscadores?
Si al intentar acceder al archivo robots.txt de un sitio web te redirige a la página de inicio, significa que el archivo no está presente. En este caso, el sitio no ha definido reglas específicas para los rastreadores de Google. Debes asegurarte de que el sitio tenga un archivo robots.txt para poder controlar qué contenido se puede o no rastrear. Puedes crear uno desde cero, definiendo las instrucciones necesarias y asegurándote de que no bloquee páginas importantes para el SEO.
Creo que en comentarios ya vi la duda y no tiene respuesta, así que la vuelvo a plantear: ¿cómo se crea el archivo robots.txt y a dónde se añade o agrega?
A esta pregunta sumo otra más: ¿cómo sé que las reglas del archivo robots.txt no está bloqueando páginas importantes que deben ser rastreadas? Es decir, ¿cómo se determina qué información sí debe ser rastreada por el archivo? Pregunto porque me topé con un sitio web que tiene varios disallows y no sé identificar si en realidad deberían de rastrearse.
Espero alguien pueda ayudarme.
1. ¿Cómo se crea y dónde se pone el robots.txt?
Es más simple de lo que parece:
a) Cómo crearlo:
Abre un programa de texto plano en tu computador, como el Bloc de Notas (en Windows) o TextEdit (en Mac, asegúrate de que esté en modo texto plano, no en "Texto Enriquecido").
Escribe las reglas que necesites. Por ejemplo, para empezar, un archivo muy común y permisivo se ve así:
robots.txt
User-agent: *
Allow: /
Sitemap:
(Esto le dice a todos los robots que pueden rastrear todo tu sitio y donde está el mapa del sitio).
Guarda el archivo con el nombre exacto: robots.txt (todo en minúsculas y sin ningún otro nombre o extensión).
b) Dónde ponerlo (esto es clave):
Tienes que subir este archivo a la raíz o directorio principal de tu sitio web.
¿Qué significa eso? Que cualquier persona pueda acceder a él escribiendo:
Ejemplo: Si tu dominio es , el archivo debe estar en
Cómo se hace: Usualmente lo subes usando el panel de control de tu hosting (como cPanel) por el administrador de archivos, o mediante un programa FTP como FileZilla, colocándolo en la misma carpeta donde está tu página de inicio (por ejemplo, donde está el index.html o index.php).
2. ¿Cómo saber si estoy bloqueando algo importante? (La pregunta del millón)
Esta es la parte más delicada. Aquí te van unos pasos y una regla de oro:
Paso 1: Revisa qué estás bloqueando.
Mira las líneas que dicen Disallow:. Pregúntate: "¿Quiero que esta página aparezca en Google?".
Ejemplo de bloques SEGUROS (que normalmente SÍ se bloquean):
Disallow: /admin/ → Paneles de administración. (¡Nunca quieres que esto esté en Google!)
Disallow: /wp-admin/ → Si usas WordPress, esta carpeta se bloquea.
Disallow: /cart/ → Carritos de compra (son herramientas, no contenido útil para buscar).
Disallow: /search/ → Páginas de búsqueda interna de tu sitio.
Disallow: /tmp/ → Carpetas temporales o de log.
Ejemplo de bloques PELIGROSOS (que NUNCA debes bloquear):
Disallow: / → ¡ESTE ES GRAVÍSIMO! Bloquea TODO tu sitio.
Disallow: /blog/ → Si tu blog es tu contenido principal, esto lo hará desaparecer.
Disallow: /productos/ → Si tienes una tienda, esto es un suicidio.
Paso 2: Usa la Herramienta de Google.
Google te ayuda a probarlo. En Google Search Console (una herramienta gratuita y esencial):
Ve a tu propiedad (tu sitio web).
Busca la opción "Probador de robots.txt".
Ahí puedes pegar el contenido de tu archivo y probar URLs específicas de tu sitio.
La herramienta te dirá "Se permite" o "Se bloquea" para cada URL que pruebes. ¡Úsala para verificar las páginas importantes!
Paso 3: La Regla de Oro.
Si no estás 100% seguro de para qué sirve una carpeta o página, investiga primero antes de bloquearla. Cuando dudes, es mejor NO bloquearla. Es menos peligroso dejar que Google vea algo que quizá no es tan importante, que bloquear por error tu página de contacto o de productos.
