Rastreo e Indexación en SEO: Uso del archivo robots.txt
Contenido del curso
Virginia Sanz
¡Hola! Comparto mis apuntas de esta clase:
El objetivo de rastrear un sitio web como lo haría Google es conocer cuáles son aquellos factores críticos que se debe tener en cuenta al momento de elaborar la estrategia de SEO.
Volvemos a la frase “Google te conoce, te invita y te presenta” En términos técnicos sería “Google te rastrea, te indexa y te posiciona en los resultados de búsquedas”.
Definición de rastreo de Google: proceso de descarga de texto, imágenes y videos de páginas que encuentra en internet mediante programas automatizados, llamados rastradores.
¿Qué impediría que Google pueda rastrear a una web? Existe un archivo muy importante: robots.txt. Un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs de tu sitio pueden acceder y a cuáles no. Para acceder a los archivos robots.txt de cualquier sitio web debes escribir /robots.txt después del dominio.
Reglas en archivos Robots.txt
Por nada del mundo debes impedir el rastreo de contenido importante para la empresa o el sitio web.
Esteban Ospina
Gracias por el aporte Virgina. ;)
Patricio Sánchez Fernández
Excelente resumen...!
Oscar Gomez
Terminos en ingles:
Rastreo = Crawl
Indexación = Index
Renderizacion = Rendering (No es mencionado, pero hay aplicaciones que dependen de este proceso para poder ver su contenido. Es un proceso que usa bastantes recursos, así que por eso no sucede tanto)
Posicionamiento = Ranking
William Ruiz
gracias por tu aporte oscar
Madeleine Antonella Sánchez Puyosa
Excelente! Muchas gracias Oscar
Marcos Joaquín Solís Castillo
Reglas en archivos Robots.txt • user-agent: Rastreador de buscador (* para representar la generalidad de cualquier motor de búsqueda). • disallow: No debe de ser rasteado. (No rastrear las carpetas que estan definidas aquí). • allow: Todo lo que se permite ser rastreado. • sitemap: Mapa del Sitio.
Patricio Sánchez Fernández
Buen apunte de los puntos concretos.
William Ruiz
gracias por tu aporte marcos
Ivan Caballero
Qué pasa si un sitio no tiene el archivo Robots.txt? Cuando pongo la URL dice "Not Found The requested URL was not found on this server." Se debería crear?
Manuel Alcocer Pech
Si, sería lo más recomendable, sobre todo por la indicación del mapa de sitio.
Jorge Arteaga
Si, al menos el los básicos como ser:
User-agent: * Allow: / # Sitemap https://sitio.com/sitemap.xml
Nestor Rios Garcia
Se me hizo muy interesante este tema sobre el archivo robots.txt, estos son los ejemplos que elegí:
User-agent: * Disallow: /*/about-us/contact/contact-spotify-password/ Disallow: /*/about-us/contact/contact-spotify-account/ Disallow: /*/get-spotify/* Disallow: /*/xhr/* Disallow: /*/external/* Disallow: /*/legal/advertiser-terms-and-conditions/ Disallow: /*/account/cls/* Disallow: /*/starbuckspartners Disallow: /starbuckspartners Sitemap: https://www.spotify.com/sitemap.xml
User-agent: * Disallow: /account/ Disallow: /support/ Disallow: /widget/ Disallow: /xml/ Disallow: /landing/* Disallow: /*/landing/* Disallow: /search/* Disallow: /*/search/* Disallow: *checkForm=* Disallow: /plugins/* Disallow: /profile/* Disallow: /*/profile/* Disallow: /video/* Disallow: /*/video/* Disallow: /*/acq # French allow: /fr/profile/* Disallow: /fr/profile/*/* # English allow: /en/profile/* Disallow: /en/profile/*/* Disallow: /*/naboo Disallow: /artist/127231622/radio?autoplay=true Allow: /*?autoplay Disallow: /*? User-agent: Twitterbot Disallow: Sitemap: https://www.deezer.com/sitemap.xml Sitemap: https://www.deezer.com/catalog_sitemap.xml Sitemap: https://www.deezer.com/channels_sitemap.xml
William Ruiz
gracias por tu aporte nestor
Angie Carolina Muñoz Moreno
¿Alguna idea de por que deshabilitarían en el caso de spotify "/*/get-spotify/*" ?
Jorge Ceballos
Considero que ese Disallow vacío puede generar confusión en los motores de búsqueda
Marco Blanco
me esta panado los mismo, me aparece User-agent: * Disallow:
Nicolás Manzanares
Yo lo hice con una web en la que estoy trabajando.
Jorge A. Torres
A mi me salió igual con una de wordpress.
Sandra Minerva Delgadillo Rentería
¿Qué significa esto? Me pasó igual con una página.
Sandra Cortes
Hola a todos, ingrese a un sitio web y me di cuenta que no tiene todos los campos que explicaron.. no aparece por ejemplo el Allow ¿Que pasa aca ? hay algo mal? como se soluciona?
START YOAST BLOCK
---------------------------
User-agent: * Disallow:
Sitemap: https://www.elpobladosa.com/sitemap_index.xml
---------------------------
END YOAST BLOCK
David Gonzalez
Tengo el mismo caso, no aparece Allow
David Gonzalez
Por las características, es de Wordpress. Ellos colocan de forma predeterminada ese archivo tal cual como está
Felix Steven Estrada Montes
Me encanto el de Platzi
Carolina Ibarra
Platzi nunca defrauda
Sofía Potdevin
Les recomiendo mirar el archivo de Platzi: https://platzi.com/robots.txt, el cual a los LLMs o AI bots los dirige a https://platzi.com/llms.txt.
Eduar Javier Zapata Montoya
Hola Iván te consulto, en un e-commerce se recomienda bloquear la página de orders, checkouts? He revisado varios e-commerce y veo que manejan esta práctica
Ejemplo:
User-agent: * Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /6673498169/checkouts
Santiago González
Edwin Castelblanco Sánchez
Wow 😎🤖
Paola Andrea Hernández
comparto ejercicio:
Norella De la hoz Araujo
Hice el ejercicio con el sitio web de mi esposo y este es el resultado, aunque no me queda claro lo de los user agent:
User-agent: * Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: GPTBot Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: Google-Extended Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: Bingbot Allow: / Disallow: /disk/ Disallow: /me$ Disallow: /share/ Disallow: /downloads/new Disallow: /forms/ User-agent: facebookexternalhit Allow: /disk/ Disallow: /disk/*/downloads/ Clean-param: etext&p&lightbox&source Sitemap: https://victorriverafotografia.com.co/sitemap.xml
Diego Sandoval
en lo personal lo que no me queda claro son los disallow, bajo que argumentos o parámetros debes basarte en elegir esos URLs
Dannet Gessen León Bustos
Luis Angel Frias Herrera
Yoast SEO, buen plugin
Jonathan Lozano Alcalá
El archivo /robots.txt de la pagina Falabella.com.co tiene mensajes, los dejé subrayados con rojo. ¿son mensajes para los buscadores?
Blanca Quiriarte
Si al intentar acceder al archivo robots.txt de un sitio web te redirige a la página de inicio, significa que el archivo no está presente. En este caso, el sitio no ha definido reglas específicas para los rastreadores de Google. Debes asegurarte de que el sitio tenga un archivo robots.txt para poder controlar qué contenido se puede o no rastrear. Puedes crear uno desde cero, definiendo las instrucciones necesarias y asegurándote de que no bloquee páginas importantes para el SEO.
Sandra Minerva Delgadillo Rentería
Creo que en comentarios ya vi la duda y no tiene respuesta, así que la vuelvo a plantear: ¿cómo se crea el archivo robots.txt y a dónde se añade o agrega?
A esta pregunta sumo otra más: ¿cómo sé que las reglas del archivo robots.txt no está bloqueando páginas importantes que deben ser rastreadas? Es decir, ¿cómo se determina qué información sí debe ser rastreada por el archivo? Pregunto porque me topé con un sitio web que tiene varios disallows y no sé identificar si en realidad deberían de rastrearse.
Espero alguien pueda ayudarme.
Arlex Giovanny Ramos Mamian
1. ¿Cómo se crea y dónde se pone el robots.txt?
Es más simple de lo que parece:
a) Cómo crearlo:
Abre un programa de texto plano en tu computador, como el Bloc de Notas (en Windows) o TextEdit (en Mac, asegúrate de que esté en modo texto plano, no en "Texto Enriquecido").
Escribe las reglas que necesites. Por ejemplo, para empezar, un archivo muy común y permisivo se ve así:
robots.txt
User-agent: *
Allow: /
Sitemap:
(Esto le dice a todos los robots que pueden rastrear todo tu sitio y donde está el mapa del sitio).
Guarda el archivo con el nombre exacto: robots.txt (todo en minúsculas y sin ningún otro nombre o extensión).
b) Dónde ponerlo (esto es clave):
Tienes que subir este archivo a la raíz o directorio principal de tu sitio web.
¿Qué significa eso? Que cualquier persona pueda acceder a él escribiendo:
Ejemplo: Si tu dominio es , el archivo debe estar en
Cómo se hace: Usualmente lo subes usando el panel de control de tu hosting (como cPanel) por el administrador de archivos, o mediante un programa FTP como FileZilla, colocándolo en la misma carpeta donde está tu página de inicio (por ejemplo, donde está el index.html o index.php).
2. ¿Cómo saber si estoy bloqueando algo importante? (La pregunta del millón)
Esta es la parte más delicada. Aquí te van unos pasos y una regla de oro:
Paso 1: Revisa qué estás bloqueando.
Mira las líneas que dicen Disallow:. Pregúntate: "¿Quiero que esta página aparezca en Google?".
Ejemplo de bloques SEGUROS (que normalmente SÍ se bloquean):
Disallow: /admin/ → Paneles de administración. (¡Nunca quieres que esto esté en Google!)
Disallow: /wp-admin/ → Si usas WordPress, esta carpeta se bloquea.
Disallow: /cart/ → Carritos de compra (son herramientas, no contenido útil para buscar).
Disallow: /search/ → Páginas de búsqueda interna de tu sitio.
Disallow: /tmp/ → Carpetas temporales o de log.
Ejemplo de bloques PELIGROSOS (que NUNCA debes bloquear):
Disallow: / → ¡ESTE ES GRAVÍSIMO! Bloquea TODO tu sitio.
Disallow: /blog/ → Si tu blog es tu contenido principal, esto lo hará desaparecer.
Disallow: /productos/ → Si tienes una tienda, esto es un suicidio.
Paso 2: Usa la Herramienta de Google.
Google te ayuda a probarlo. En Google Search Console (una herramienta gratuita y esencial):
Ve a tu propiedad (tu sitio web).
Busca la opción "Probador de robots.txt".
Ahí puedes pegar el contenido de tu archivo y probar URLs específicas de tu sitio.
La herramienta te dirá "Se permite" o "Se bloquea" para cada URL que pruebes. ¡Úsala para verificar las páginas importantes!
Paso 3: La Regla de Oro.
Si no estás 100% seguro de para qué sirve una carpeta o página, investiga primero antes de bloquearla. Cuando dudes, es mejor NO bloquearla. Es menos peligroso dejar que Google vea algo que quizá no es tan importante, que bloquear por error tu página de contacto o de productos.
cesar marquez
