Optimización SEO: Rastreo y Archivo Robots.txt

¡Hola! Comparto mis apuntas de esta clase:

El objetivo de rastrear un sitio web como lo haría Google es conocer cuáles son aquellos factores críticos que se debe tener en cuenta al momento de elaborar la estrategia de SEO.

Volvemos a la frase “Google te conoce, te invita y te presenta” En términos técnicos sería “Google te rastrea, te indexa y te posiciona en los resultados de búsquedas”.

Definición de rastreo de Google: proceso de descarga de texto, imágenes y videos de páginas que encuentra en internet mediante programas automatizados, llamados rastradores.

¿Qué impediría que Google pueda rastrear a una web? Existe un archivo muy importante: robots.txt. Un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs de tu sitio pueden acceder y a cuáles no. Para acceder a los archivos robots.txt de cualquier sitio web debes escribir /robots.txt después del dominio.

Reglas en archivos Robots.txt

• user-agent: Rastreador de buscador (el * es para representar cualquier motor de búsqueda).
• allow: Todo lo que debe ser rastreado.
• disallow: No debe de ser rastreado.
• sitemap: Mapa del sitio web.

Por nada del mundo debes impedir el rastreo de contenido importante para la empresa o el sitio web.

Terminos en ingles:

Rastreo = Crawl

Indexación = Index

Renderizacion = Rendering (No es mencionado, pero hay aplicaciones que dependen de este proceso para poder ver su contenido. Es un proceso que usa bastantes recursos, así que por eso no sucede tanto)

Posicionamiento = Ranking

Se me hizo muy interesante este tema sobre el archivo robots.txt, estos son los ejemplos que elegí:

• Spotify

User-agent: *
Disallow: /*/about-us/contact/contact-spotify-password/
Disallow: /*/about-us/contact/contact-spotify-account/
Disallow: /*/get-spotify/*
Disallow: /*/xhr/*
Disallow: /*/external/*
Disallow: /*/legal/advertiser-terms-and-conditions/
Disallow: /*/account/cls/*
Disallow: /*/starbuckspartners
Disallow: /starbuckspartners
Sitemap: https://www.spotify.com/sitemap.xml

• Deezer

User-agent: *
Disallow: /account/
Disallow: /support/
Disallow: /widget/
Disallow: /xml/

Disallow: /landing/*
Disallow: /*/landing/*
Disallow: /search/*
Disallow: /*/search/*

Disallow: *checkForm=*
Disallow: /plugins/*

Disallow: /profile/*
Disallow: /*/profile/*
Disallow: /video/*
Disallow: /*/video/*

Disallow: /*/acq

# French
allow: /fr/profile/*
Disallow: /fr/profile/*/*

# English
allow: /en/profile/*
Disallow: /en/profile/*/*

Disallow: /*/naboo

Disallow: /artist/127231622/radio?autoplay=true
Allow: /*?autoplay
Disallow: /*?

User-agent: Twitterbot
Disallow:

Sitemap: https://www.deezer.com/sitemap.xml
Sitemap: https://www.deezer.com/catalog_sitemap.xml
Sitemap: https://www.deezer.com/channels_sitemap.xml

Considero que ese Disallow vacío puede generar confusión en los motores de búsqueda

Resumen:
TODAS las páginas deben tener un archivo robots.txt.

El archivo robots.txt sirve para lo siguiente:
-Hacer que tu sitio web sea rastreable (primera fase de que Google te conozca)
-Qué mostrar y qué no mostrar a tus visitantes
-Indicarle una ruta a Google (con el archivo sitemap)
-Que tu página web EXISTA

Wow 😎🤖

Hola , quiero hacer una pregunta y me disculpan la ignorancia. Acabo de hacer este proceso con varias paginas, pero una en especial no arroja nada , aparece "404 no found" la pregunta es , si no aparee nada es malo? es bueno? o que se debe hacer en ese caso?

https://xnova360.com/robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

…Al parecer no tengo sitemap y solo permite entrar a esa URL ?

https://www.indeed.com/robots.txt

User-agent: *
Allow: /
Allow: /hire/?isid=
Allow: /personeel/?isid=
Allow: /reclutamiento/?isid=
Allow: /recruiting/?isid=
Allow: /recrutement/?isid=
Disallow: /rt=nc
Disallow: /&alid=
Disallow: /&calert=
Disallow: /&iafilter=
Disallow: /&mna=
Disallow: /?rss
Disallow: /addlLoc/

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://carlosdiazturismo.com/wp-sitemap.xml

Monday.com

User-agent: *
Disallow: /mb/
Disallow: /h/
Disallow: /fb/
Disallow: /lp/
Disallow: /test/
Disallow: /google*
Disallow: /partials/
Disallow: /blog/cards/
Disallow: /blog/decks/
Disallow: /blog/members/
Disallow: /blog/forums/
Disallow: /blog/blue-tracker/
Disallow: /blog/packs/
Allow: .js
Allow: .css

User-agent: Skynet
Disallow: /

Revisé el de Monday, creo que se debo optimizar lo del Disalow de /

Agente de usuario: *
No permitir: /mb/
No permitir: /h/
No permitir: /fb/
No permitir: /lp/
No permitir: /prueba/
No permitir: /google*
No permitir: /parciales/
No permitir: /blog/cards/
No permitir: /blog/mazos/
No permitir: /blog/miembros/
No permitir: /blog/foros/
No permitir: /blog/blue-tracker/
No permitir: /blog/paquetes/
Permitir: .js
Permitir: .css

Agente de usuario: Skynet
No permitir: /

Y este es el análisis con Chatgpt del robots.txt y xml de Platzi: ### **Análisis del archivo robots.txt** #### **Directivas y reglas clave:** 1. **User-Agent: \*** Esta directiva se aplica a todos los bots. El asterisco (\*) significa que las reglas que siguen se aplican a **todos** los motores de búsqueda, como Google, Bing, etc. 2. **Allow: /conf/\*** Permite que los bots rastreen cualquier URL que comience con "/conf/". Esto sugiere que el contenido dentro de ese directorio es importante y debe ser indexado por los motores de búsqueda. 3. **Allow: /conf-og/\*** De manera similar, también permite que los bots rastreen cualquier URL bajo el directorio "/conf-og/". 4. **Disallow: (varias rutas específicas)** Existen múltiples directivas **Disallow** que indican las URL o rutas específicas que no deben ser rastreadas por los motores de búsqueda. Algunas de las más destacadas incluyen: * **/login/facebook/** y **/login/twitter/**: Estos directorios probablemente contienen rutas de inicio de sesión específicas para redes sociales. Evitar el rastreo de estas páginas es útil ya que no aportan valor SEO. * **/*/*/concepto/*/*/material/**: Puede ser una ruta muy específica que apunta a material que no debe ser indexado, probablemente para evitar el acceso no autorizado o la indexación de contenido no relevante. * **/payments/\***: Se bloquea el rastreo de cualquier ruta relacionada con pagos, lo cual tiene sentido para evitar que se indexen procesos sensibles. * **/mi-suscripcion/**, **/adquirir/\***, **/comentario/**, **/comment/**: Se están bloqueando rutas que probablemente contengan contenido dinámico o privado, como comentarios de los usuarios, suscripciones y formularios de compra. * **/courses/** y **/historias/**: También se bloquean directorios como "courses" e "historias", posiblemente para evitar que se indexen listas de cursos o testimonios que podrían estar protegidos o no ser relevantes para los motores de búsqueda. 5. **Disallow con caracteres comodín**: * **/*/*/%7B%7Burl%20absolute=/**: Esto bloquea rutas que contengan el patrón `{{url absolute=`, lo cual parece una medida para evitar que URLs generadas dinámicamente se indexen. * **/p\*/** y **/api\*/**: Se bloquean todas las rutas que contengan `/p/` o `/api/`, lo cual podría estar relacionado con elementos o servicios internos, como API o productos que no deben ser indexados. 6. **Allow: */p/*/*/*/diploma/detalle/**: Esta es una excepción a las reglas de **Disallow** anteriores. Permite el rastreo de URLs específicas relacionadas con los detalles del "diploma". Esto sugiere que, aunque se bloquean ciertas partes de los productos, los detalles del diploma deben ser accesibles y rastreados para SEO. #### **Sitemap:** El archivo también proporciona la URL de un **sitemap.xml**: ```js Sitemap: https://platzi.com/sitemap.xml ```Sitemap: <https://platzi.com/sitemap.xml>

Al parecer este es el robots.txt de Platzi: User-Agent: \* Allow: /conf/\* Allow: /conf-og/\* Disallow: /\*/\*/concepto/\*/\*/material/ Disallow: /login/facebook/ Disallow: /login/twitter/ Disallow: /\*/\*/live/ Disallow: /\*/\*/%7B%7Burl%20absolute=/ Disallow: /\*/\*/add\_contribution/ Disallow: /mi-suscripcion/ Disallow: /r/ Disallow: /clases/\*/nuevos\_materiales/ Disallow: /kit-ui/ Disallow: /ui/ Disallow: /sfotipy/ Disallow: /streaming/\* Disallow: /payments/\* Disallow: /\*/add\_review/ Disallow: /\*/save/ Disallow: /adquirir/\* Disallow: /comentario/ Disallow: /comment/ Disallow: /comments/\* Disallow: /comprar/ Disallow: /precios/\*/ Disallow: /yearly-stats-share/ Disallow: /courses/ Disallow: /historias/ Disallow: /becas-fb/ Disallow: /testimonios/ Disallow: \*/diploma/ Disallow: \*/respuestas/ Disallow: \*/@ Disallow: /login/?next=/ Disallow: \*/?school= Disallow: \*/api/\* Disallow: \*/p/\* Allow: \*/p/\*/\*/\*/diploma/detalle/ Sitemap: <https://platzi.com/sitemap.xml>

¡Es un excelente apunte, del logaritmo de Google!! Excelente comentario… Gracias

Ahi va mi ejemplo: 

Me llama la atención que este archivo robots.txt en allow tenga /wp-admin-admin-ajax.php. Cuando arriba pide que no rastree /wp-admin/ 

como rastrear un sitio web como lo haría Google con el objetivo de conocer los factores críticos que debes tener presente para tu estrategia SEO. Cuando Google te conoce esta rastreando tu sitio web cuando Google te invita esta indexando tu sitio web y t presenta cuando ya te posiciona en las búsquedas de los usuarios el rastreo es como la descargar de texto imágenes video de paginas que encuentra en internet , el rastreador de Google se mueve por toda internet tratando de encontrar nuevas paginas nuevos contenidos para poder conocerlos . Google encuentra todos estos sitios en internet a partir de un programa que se llama rastreadores y es automatizado ¿Qué impediría que Google pueda rastrear un sitio web? Aca vamos hablar del archivo interesante que se llama robots.txt es el lugar donde se le dan instrucciones a Google de donde puede acceder a tu sitio web y donde no El user agent indica cual es el rastreador especifico al que se le quiere dar esta instrucción en este caso nos estamso dirgiendo a Googlebot , Google tiene dftes rastreadores por ejemplo uno para smartphone otro para desktop, otro para anuncios , tiene un montón En este caso al rastreador googlebot le estamos diciendo no rastrear la dirección nogooglebot El \* es para cualquier rastreador , le estamso diciendo rastrea todo el sitio El ultimo es el llamado al archivo sitemap acá vas a encontrar el listado de urls que conforman mi sitio web y que son importantes para mi

Sí, es permitido indicarle a Google que no debe rastrear ciertas partes de tu sitio web mediante el archivo `robots.txt`. En este archivo, puedes usar las instrucciones `Disallow` para especificar qué URLs o secciones no deseas que sean rastreadas. Esto es útil para proteger contenido sensible o irrelevante de los motores de búsqueda. Sin embargo, asegúrate de no bloquear el acceso a contenido importante que quieras que sea indexado y visible para los usuarios.

Soy nueva referente a esta ruta, estoy hace poco iniciando con toda la ruta de marketing digital me enfoque en los fundamentos y en rutas que se refiere mas a la creacion de contenido. Pero he decido seguir esta ruta de SEO. Esta clase la he visto 4 veces no entendia lo del robot. y tampoco sabia que era posible decirle a google que ciertas secciones no deseamos que sea rastreadas. Le he preguntado a la cajita que tenemos y esta fue respuesta: ¿es permitido decirle a google que no debe rastrear? ### Respuesta: Sí, es permitido indicarle a Google que no debe rastrear ciertas partes de tu sitio web mediante el archivo `robots.txt`. En este archivo, puedes usar las instrucciones `Disallow` para especificar qué URLs o secciones no deseas que sean rastreadas. Esto es útil para proteger contenido sensible o irrelevante de los motores de búsqueda. Sin embargo, asegúrate de no bloquear el acceso a contenido importante que quieras que sea indexado y visible para los usuarios.


**Alow: /** *(nos indica que todo el sitio se puede rastrear)* pero qué pasa si encontramos esto? **Disallow:** Cuando encontramos esto "Disalow: " sin indicaciones, es exactamente lo mismo que "Alow: /"

Entré al sitio web del negocio de unos amigos, y no encontré el archivo robots.txt. Supongo que esto será negativo para sla venta de sus servicios, no? Gracias.

User-Agent: \* Allow: /conf/\* Allow: /conf-og/\* Disallow: /\*/\*/concepto/\*/\*/material/ Disallow: /login/facebook/ Disallow: /login/twitter/ Disallow: /\*/\*/live/ Disallow: /\*/\*/%7B%7Burl%20absolute=/ Disallow: /\*/\*/add\_contribution/ Disallow: /mi-suscripcion/ Disallow: /r/ Disallow: /clases/\*/nuevos\_materiales/ Disallow: /kit-ui/ Disallow: /ui/ Disallow: /sfotipy/ Disallow: /streaming/\* Disallow: /payments/\* Disallow: /\*/add\_review/ Disallow: /\*/save/ Disallow: /adquirir/\* Disallow: /comentario/ Disallow: /comment/ Disallow: /comments/\* Disallow: /comprar/ Disallow: /precios/\*/ Disallow: /yearly-stats-share/ Disallow: /courses/ Disallow: /historias/ Disallow: /becas-fb/ Disallow: /testimonios/ Disallow: \*/diploma/ Disallow: \*/respuestas/ Disallow: \*/@ Disallow: /login/?next=/ Disallow: \*/?school= Disallow: \*/api/\* Disallow: \*/p/\* Allow: \*/p/\*/\*/\*/diploma/detalle/ Sitemap: <https://platzi.com/sitemap.xml>

Estoy tomando este curso para posicionar mi sitio de wordpress desde cero: 

Este es el caso de Mercadolibre, esta empresa me gusta mucho y es interesante cómo tienen configurado su sitio. No entiendo bien por qué esta configuración. ¿Alguien podría ayudarme a entender? 

 Saludos :) me pueden decir que significa, mi sitio esta hecho en wordpress, gracias!

Hola revise 2 sitios y ambos me salen asi: User-agent: \* Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php ¿Qué significa? Gracias.

User-agent: \* Disallow: /buscador Disallow: /buscar Disallow: /\*link- Disallow: /pf/api/v3/content/fetch/tags-api Disallow: /pf/api/v3/content/fetch/sections-api Disallow: /pf/api/v3/content/fetch/collections-content-api Disallow: /pf/\* Disallow: /mi-cuenta/ Disallow: /mi-cuenta/login/ Sitemap: <https://www.abc.com.py/arc/outboundfeeds/sitemap-index?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/news-sitemap-index/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/nacionales/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/deportes/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/deportes/futbol/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/mundo/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/espectaculos/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/ciencia/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/tecnologia/?outputType=xml> Sitemap: <https://www.abc.com.py/arc/outboundfeeds/rss/noticias-del-dia/?outputType=xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/sm-tags.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/deportes-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/espectaculos-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/periodismo-joven-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/gastronomia-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/articulos-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/nacionales-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/otros-sitemap.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/gp-internacionales.xml> Sitemap: <https://api.diarioabc.com.py/storage/sitemaps/obituary-sitemap.xml> User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: /

1. Reglas Archivos Robots.txt 2. User-agent: Es el rastreador del buscador. El \* se utiliza para representar cualquier motor de búsqueda. 3. Disallow: identifica el contenido que no debe ser rastreado. 4. Allow: es todo el contenido que se le permite sea rastreado. Se representa mediante el /. 5. Sitemap: es el mapa del sitio web. 6. Hay que asegurarnos que no haya nada que impida el rastreo del contenido importante en la web.


Robot txt de spotify.com 

[amazon.com/robots.txt](https://www.amazon.com/robots.txt)

[platzi.com/robots.txt](https://platzi.com/robots.txt)

En mi pagina web aparece esto, sera que alguienpodria explicarme que significa por favor 

<https://platzi.com/home/robots.txt> No me muestra el archivo, ¿Sabemos por qué?


![]()

que pasaría si un sitio web no tiene este archivo ?

Comparto del de Instagram me resultó interesante ¿algún comentario?

Hola! Yo quiero saber si está bien que mi página empiece con "start yoast block" ![]()

El archivo robotsde Google.com User-agent: \* Disallow: /search Allow: /search/about Allow: /search/static Allow: /search/howsearchworks Disallow: /sdch Disallow: /groups Disallow: /index.html? Disallow: /? Allow: /?hl= Disallow: /?hl=\*& Allow: /?hl=\*\&gws\_rd=ssl$ Disallow: /?hl=\*&\*\&gws\_rd=ssl Allow: /?gws\_rd=ssl$ Allow: /?pt1=true$ Disallow: /imgres Disallow: /u/ Disallow: /preferences Disallow: /setprefs Disallow: /default Disallow: /m? Disallow: /m/ Allow: /m/finance Disallow: /wml? Disallow: /wml/? Disallow: /wml/search? Disallow: /xhtml? Disallow: /xhtml/? Disallow: /xhtml/search? Disallow: /xml? Disallow: /imode? Disallow: /imode/? Disallow: /imode/search? Disallow: /jsky? Disallow: /jsky/? Disallow: /jsky/search? Disallow: /pda? Disallow: /pda/? Disallow: /pda/search? Disallow: /sprint\_xhtml Disallow: /sprint\_wml Disallow: /pqa Disallow: /gwt/ Disallow: /purchases Disallow: /local? Disallow: /local\_url Disallow: /shihui? Disallow: /shihui/ Disallow: /products? Disallow: /product\_ Disallow: /products\_ Disallow: /products; Disallow: /print Disallow: /books/ Disallow: /bkshp?\*q=\* Disallow: /books?\*q=\* Disallow: /books?\*output=\* Disallow: /books?\*pg=\* Disallow: /books?\*jtp=\* Disallow: /books?\*jscmd=\* Disallow: /books?\*buy=\* Disallow: /books?\*zoom=\* Allow: /books?\*q=related:\* Allow: /books?\*q=editions:\* Allow: /books?\*q=subject:\* Allow: /books/about Allow: /booksrightsholders Allow: /books?\*zoom=1\* Allow: /books?\*zoom=5\* Allow: /books/content?\*zoom=1\* Allow: /books/content?\*zoom=5\* Disallow: /ebooks/ Disallow: /ebooks?\*q=\* Disallow: /ebooks?\*output=\* Disallow: /ebooks?\*pg=\* Disallow: /ebooks?\*jscmd=\* Disallow: /ebooks?\*buy=\* Disallow: /ebooks?\*zoom=\* Allow: /ebooks?\*q=related:\* Allow: /ebooks?\*q=editions:\* Allow: /ebooks?\*q=subject:\* Allow: /ebooks?\*zoom=1\* Allow: /ebooks?\*zoom=5\* Disallow: /patents? Disallow: /patents/download/ Disallow: /patents/pdf/ Disallow: /patents/related/ Disallow: /scholar Disallow: /citations? Allow: /citations?user= Disallow: /citations?\*cstart= Allow: /citations?view\_op=new\_profile Allow: /citations?view\_op=top\_venues Allow: /scholar\_share Disallow: /s? Disallow: /maps? Allow: /maps?\*output=classic\* Allow: /maps?\*file= Disallow: /mapstt? Disallow: /mapslt? Disallow: /mapabcpoi? Disallow: /maphp? Disallow: /mapprint? Disallow: /maps/ Allow: /maps/search/ Allow: /maps/dir/ Allow: /maps/d/ Allow: /maps/reserve Allow: /maps/about Allow: /maps/match Disallow: /maps/api/js/ Allow: /maps/api/js Disallow: /mld? Disallow: /staticmap? Disallow: /help/maps/streetview/partners/welcome/ Disallow: /help/maps/indoormaps/partners/ Disallow: /lochp? Disallow: /center Disallow: /ie? Disallow: /blogsearch/ Disallow: /blogsearch\_feeds Disallow: /advanced\_blog\_search Disallow: /uds/ Disallow: /chart? Disallow: /transit? Allow: /calendar$ Allow: /calendar/about/ Disallow: /calendar/ Disallow: /cl2/feeds/ Disallow: /cl2/ical/ Disallow: /coop/directory Disallow: /coop/manage Disallow: /trends? Disallow: /trends/music? Disallow: /trends/hottrends? Disallow: /trends/viz? Disallow: /trends/embed.js? Disallow: /trends/fetchComponent? Disallow: /trends/beta Disallow: /trends/topics Disallow: /musica Disallow: /musicad Disallow: /musicas Disallow: /musicl Disallow: /musics Disallow: /musicsearch Disallow: /musicsp Disallow: /musiclp Disallow: /urchin\_test/ Disallow: /movies? Disallow: /wapsearch? Allow: /safebrowsing/diagnostic Allow: /safebrowsing/report\_badware/ Allow: /safebrowsing/report\_error/ Allow: /safebrowsing/report\_phish/ Disallow: /reviews/search? Disallow: /orkut/albums Disallow: /cbk Disallow: /recharge/dashboard/car Disallow: /recharge/dashboard/static/ Disallow: /profiles/me Allow: /profiles Disallow: /s2/profiles/me Allow: /s2/profiles Allow: /s2/oz Allow: /s2/photos Allow: /s2/search/social Allow: /s2/static Disallow: /s2 Disallow: /transconsole/portal/ Disallow: /gcc/ Disallow: /aclk Disallow: /cse? Disallow: /cse/home Disallow: /cse/panel Disallow: /cse/manage Disallow: /tbproxy/ Disallow: /imesync/ Disallow: /shenghuo/search? Disallow: /support/forum/search? Disallow: /reviews/polls/ Disallow: /hosted/images/ Disallow: /ppob/? Disallow: /ppob? Disallow: /accounts/ClientLogin Disallow: /accounts/ClientAuth Disallow: /accounts/o8 Allow: /accounts/o8/id Disallow: /topicsearch?q= Disallow: /xfx7/ Disallow: /squared/api Disallow: /squared/search Disallow: /squared/table Disallow: /qnasearch? Disallow: /app/updates Disallow: /sidewiki/entry/ Disallow: /quality\_form? Disallow: /labs/popgadget/search Disallow: /buzz/post Disallow: /compressiontest/ Disallow: /analytics/feeds/ Disallow: /analytics/partners/comments/ Disallow: /analytics/portal/ Disallow: /analytics/uploads/ Allow: /alerts/manage Allow: /alerts/remove Disallow: /alerts/ Allow: /alerts/$ Disallow: /ads/search? Disallow: /ads/plan/action\_plan? Disallow: /ads/plan/api/ Disallow: /ads/hotels/partners Disallow: /phone/compare/? Disallow: /travel/clk Disallow: /travel/flights/s/ Disallow: /hotelfinder/rpc Disallow: /hotels/rpc Disallow: /commercesearch/services/ Disallow: /evaluation/ Disallow: /chrome/browser/mobile/tour Disallow: /compare/\*/apply\* Disallow: /forms/perks/ Disallow: /shopping/suppliers/search Disallow: /ct/ Disallow: /edu/cs4hs/ Disallow: /trustedstores/s/ Disallow: /trustedstores/tm2 Disallow: /trustedstores/verify Disallow: /adwords/proposal Disallow: /shopping?\* Disallow: /shopping/product/ Disallow: /shopping/seller Disallow: /shopping/ratings/account/metrics Disallow: /shopping/ratings/merchant/immersivedetails Disallow: /shopping/reviewer Disallow: /storefront Disallow: /storepicker Allow: /about/careers/applications/ Allow: /about/careers/applications-a/ Allow: /about/careers/applications/teams/ Allow: /about/careers/applications-a/teams/ Allow: /about/careers/applications/locations/ Allow: /about/careers/applications-a/locations/ Allow: /about/careers/applications/benefits/ Allow: /about/careers/applications-a/benefits/ Allow: /about/careers/applications/students/ Allow: /about/careers/applications-a/students/ Allow: /about/careers/applications/jobs/results/$ Allow: /about/careers/applications-a/jobs/results/$ Allow: /about/careers/applications/cloud/ Allow: /about/careers/applications-a/cloud/ Allow: /about/careers/applications/hardware/ Allow: /about/careers/applications-a/hardware/ Allow: /about/careers/applications/eeo/ Allow: /about/careers/applications-a/eeo/ Allow: /about/careers/applications/how-we-hire/ Allow: /about/careers/applications-a/how-we-hire/ Allow: /about/careers/applications/interview-tips/ Allow: /about/careers/applications-a/interview-tips/ Disallow: /about/careers/applications/ Disallow: /about/careers/applications-a/ Disallow: /about/careers/applications/jobs/results?page= Disallow: /about/careers/applications/jobs/results/?page= Disallow: /about/careers/applications/jobs/results?\*\&page= Disallow: /about/careers/applications/jobs/results/?\*\&page= Disallow: /landing/signout.html Disallow: /webmasters/sitemaps/ping? Disallow: /ping? Disallow: /gallery/ Disallow: /landing/now/ontap/ Allow: /searchhistory/ Allow: /maps/reserve Allow: /maps/reserve/partners Disallow: /maps/reserve/api/ Disallow: /maps/reserve/search Disallow: /maps/reserve/bookings Disallow: /maps/reserve/settings Disallow: /maps/reserve/manage Disallow: /maps/reserve/payment Disallow: /maps/reserve/receipt Disallow: /maps/reserve/sellersignup Disallow: /maps/reserve/payments Disallow: /maps/reserve/feedback Disallow: /maps/reserve/terms Disallow: /maps/reserve/m/ Disallow: /maps/reserve/b/ Disallow: /maps/reserve/partner-dashboard Disallow: /about/views/ Disallow: /intl/\*/about/views/ Disallow: /local/cars Disallow: /local/cars/ Disallow: /local/dealership/ Disallow: /local/dining/ Disallow: /local/place/products/ Disallow: /local/place/reviews/ Disallow: /local/place/rap/ Disallow: /local/tab/ Disallow: /localservices/\* Allow: /finance Allow: /js/ Disallow: /nonprofits/account/ Disallow: /uviewer Disallow: /landing/cmsnext-root/ \# AdsBot User-agent: AdsBot-Google Disallow: /maps/api/js/ Allow: /maps/api/js Disallow: /maps/api/place/js/ Disallow: /maps/api/staticmap Disallow: /maps/api/streetview \# Crawlers of certain social media sites are allowed to access page markup when google.com/imgres\* links are shared. To learn more, please contact <[email protected]>. User-agent: Twitterbot Allow: /imgres Allow: /search Disallow: /groups Disallow: /hosted/images/ Disallow: /m/ User-agent: facebookexternalhit Allow: /imgres Allow: /search Disallow: /groups Disallow: /hosted/images/ Disallow: /m/ Sitemap: <https://www.google.com/sitemap.xml> \-------------------- Baidu User-agent: Baiduspider Disallow: /baidu Disallow: /s? Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Googlebot Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: MSNBot Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Baiduspider-image Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: YoudaoBot Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sogou web spider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sogou inst spider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sogou spider2 Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sogou blog Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sogou News Spider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sogou Orion spider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: ChinasoSpider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: Sosospider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: yisouspider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: EasouSpider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ Disallow: /bh User-agent: \* Disallow: /

Hola. mcdonalds.com/robots.txt User-agent: \* Allow: \*.js Allow: \*.css Allow: \*.gif Allow: \*.png Disallow: /config/ Disallow: /utility/ Disallow: /content/prelaunch/ Disallow: /prelaunch/ Disallow: /us/en-us/wifi-desktop.html Disallow: /us/en-us/mcrib-delivery.html Disallow: /content/dam/usa/nfl/documents/archcard/ArchCard\_LostStolen\_ReplacementForm.pdf Disallow: /content/dam/AboutMcDonalds/Investors/C-%5Cfakepath%5Cinvestors-2003-annual-report.pdf Disallow: /content/dam/AboutMcDonalds/Investors/C-%5Cfakepath%5Cinvestors-2002-annual-report.pdf Disallow: /content/dam/usa/documents/happymeal-stepit.pdf Sitemap: <https://www.mcdonalds.com/us/en-us.sitemap.xml> Sitemap: <https://www.mcdonalds.com/us/es-us.sitemap.xml> Sitemap: <https://www.mcdonalds.com/aag/en-us.sitemap.xml> Sitemap: <https://www.mcdonalds.com/no/nb-no.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ie/en-ie.sitemap.xml> Sitemap: <https://www.mcdonalds.com/sa/en-sa/jeddah.sitemap.xml> Sitemap: <https://www.mcdonalds.com/sa/en-sa/riyadh.sitemap.xml> Sitemap: <https://www.mcdonalds.com/sa/ar-sa/jeddah.sitemap.xml> Sitemap: <https://www.mcdonalds.com/sa/ar-sa/riyadh.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ca/en-ca.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ca/fr-ca.sitemap.xml> Sitemap: <https://www.mcdonalds.com/om/en-om.sitemap.xml> Sitemap: <https://www.mcdonalds.com/om/ar-om.sitemap.xml> Sitemap: <https://www.mcdonalds.com/nl/nl-nl.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ae/en-ae.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ae/ar-ae.sitemap.xml> Sitemap: <https://www.mcdonalds.com/de/de-de.sitemap.xml> Sitemap: <https://www.mcdonalds.com/fi/fi-fi.sitemap.xml> Sitemap: <https://www.mcdonalds.com/dk/da-dk.sitemap.xml> Sitemap: <https://www.mcdonalds.com/se/sv-se.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ch/de-ch.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ch/fr-ch.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ch/it-ch.sitemap.xml> Sitemap: <https://www.mcdonalds.com/bh/en-bh.sitemap.xml> Sitemap: <https://www.mcdonalds.com/bh/ar-bh.sitemap.xml> Sitemap: <https://www.mcdonalds.com/qa/en-qa.sitemap.xml> Sitemap: <https://www.mcdonalds.com/qa/ar-qa.sitemap.xml> Sitemap: <https://www.mcdonalds.com/ua/uk-ua.sitemap.xml> Sitemap: <https://www.mcdonalds.com/kw/en-kw.sitemap.xml> Sitemap: <https://www.mcdonalds.com/kw/ar-kw.sitemap.xml> Sitemap: <https://www.mcdonalds.com/au/en-au.sitemap.xml> Sitemap: <https://www.mcdonalds.com/hu/hu-hu.sitemap.xml>

  

¡Hola a todos! Al ver este video, me llamó la atención la utilidad del archivo robots.txt y decidí buscarlo en el sitio web de la compañía en la que trabajo. Este sitio fue rediseñado y relanzado hace unos meses, pero cuál es mi sorpresa al ver que el archivo no aparece en el servidor o no es de fácil acceso. ¿Esto es un error que debería corregirse o el posicionamiento SEO del sitio puede funcionar perfectamente sin él? ¡Gracias de antemano por su apoyo!

<https://www.walmart.com/robots.txt> mi aporte queriendo ver la pagina de wallmart. tiene un mundo de archivos en disallow.

/////// \# // // \# // // \# // // /// /// /// \# // // /// /// \# // /// // //// /// /// /// //// /// //// /// //// /// //// \# // /// /// // ////////// /// ////////// /////////// ////////// /////////// \# // // // // /// /// /// /// /// /// /// /// /// /// \# // // // // /// /// /// /// /// /// /// /// /// /// \# // // // // /// /// /// /// /// /// /// /// /// /// \# // // // // ////////// /// /// ////////// /// /// ////////// \# // ///// // \# // ///// // \# // /// /// // \# ////// ////// \# \# \# Hello bot, engineer, or very lost layperson! Welcome to your stay on the Airbnb site, we're happy to have you as a guest. \# If you're a human who likes solving interesting challenges with other humans, check out our careers page: <https://www.airbnb.com/careers/departments/engineering> \# If you're a bot who likes crawling webpages, please mind the house rules and avoid accessing any disallowed subfolders to earn a 5-star review from us. \# Either way, thanks for stopping by! There's no need to collect your garbage at the end of your stay - we use Javascript for that. \# See you on the next crawl! User-agent: Googlebot Allow: /calendar/ical/ Allow: /.well-known/amphtml/apikey.pub Disallow: /account Disallow: /alumni Disallow: /associates/click Disallow: /api/v1/trebuchet Disallow: /calendar/ Disallow: /disaster/lookup Disallow: /email/unsubscribe Disallow: /fix-it Disallow: /fixit Disallow: /forgot\_password Disallow: /groups Disallow: /help/search Disallow: /help/feedback Disallow: /home/dashboard Disallow: /inbox Disallow: /logout Disallow: /manage-listing Disallow: /messaging/ajax\_already\_messaged/ Disallow: /my\_listings Disallow: /skeleton$ Disallow: /skeleton/ Disallow: /payments/book Disallow: /signup\_modal Disallow: /signed\_out\_modal.json Disallow: /.well-known/assetlinks.json Disallow: /help/search Disallow: /trips/upcoming Disallow: /trips/v1/ Disallow: /update-your-browser Disallow: /reservation Disallow: /rooms/\*/safety Disallow: /rooms/\*/reviews Disallow: /rooms/\*/photos Disallow: /rooms/\*/location Disallow: /rooms/\*/house-rules Disallow: /rooms/\*/enhanced-cleaning Disallow: /rooms/\*/amenities Disallow: /users/show Disallow: /users/\*/listings Disallow: /contact\_host Disallow: /book Disallow: /stories Disallow: /embeddable Disallow: /guidebooks User-agent: Bingbot Allow: /calendar/ical/ Allow: /.well-known/amphtml/apikey.pub Disallow: /account Disallow: /alumni Disallow: /associates/click Disallow: /api/v1/trebuchet Disallow: /calendar/ Disallow: /disaster/lookup Disallow: /email/unsubscribe Disallow: /fix-it Disallow: /fixit Disallow: /forgot\_password Disallow: /groups Disallow: /help/search Disallow: /help/feedback Disallow: /home/dashboard Disallow: /inbox Disallow: /logout Disallow: /manage-listing Disallow: /messaging/ajax\_already\_messaged/ Disallow: /my\_listings Disallow: /skeleton$ Disallow: /skeleton/ Disallow: /payments/book Disallow: /signup\_modal Disallow: /signed\_out\_modal.json Disallow: /.well-known/assetlinks.json Disallow: /help/search Disallow: /trips/upcoming Disallow: /trips/v1/ Disallow: /update-your-browser Disallow: /reservation Disallow: /rooms/\*/safety Disallow: /rooms/\*/reviews Disallow: /rooms/\*/photos Disallow: /rooms/\*/location Disallow: /rooms/\*/house-rules Disallow: /rooms/\*/enhanced-cleaning Disallow: /rooms/\*/amenities Disallow: /users/show Disallow: /users/\*/listings Disallow: /contact\_host Disallow: /book Disallow: /stories Disallow: /embeddable Disallow: /guidebooks User-agent: YandexBot Allow: /calendar/ical/ Allow: /.well-known/amphtml/apikey.pub Disallow: /account Disallow: /alumni Disallow: /associates/click Disallow: /api/v1/trebuchet Disallow: /calendar/ Disallow: /disaster/lookup Disallow: /email/unsubscribe Disallow: /fix-it Disallow: /fixit Disallow: /forgot\_password Disallow: /groups Disallow: /help/search Disallow: /help/feedback Disallow: /home/dashboard Disallow: /inbox Disallow: /logout Disallow: /manage-listing Disallow: /messaging/ajax\_already\_messaged/ Disallow: /my\_listings Disallow: /skeleton$ Disallow: /skeleton/ Disallow: /payments/book Disallow: /signup\_modal Disallow: /signed\_out\_modal.json Disallow: /.well-known/assetlinks.json Disallow: /help/search Disallow: /trips/upcoming Disallow: /trips/v1/ Disallow: /update-your-browser Disallow: /reservation Disallow: /rooms/\*/safety Disallow: /rooms/\*/reviews Disallow: /rooms/\*/photos Disallow: /rooms/\*/location Disallow: /rooms/\*/house-rules Disallow: /rooms/\*/enhanced-cleaning Disallow: /rooms/\*/amenities Disallow: /users/show Disallow: /users/\*/listings Disallow: /contact\_host Disallow: /book Disallow: /stories Disallow: /embeddable Disallow: /guidebooks User-agent: Baiduspider Allow: /calendar/ical/ Allow: /.well-known/amphtml/apikey.pub Disallow: /account Disallow: /alumni Disallow: /associates/click Disallow: /api/v1/trebuchet Disallow: /calendar/ Disallow: /disaster/lookup Disallow: /email/unsubscribe Disallow: /fix-it Disallow: /fixit Disallow: /forgot\_password Disallow: /groups Disallow: /help/search Disallow: /help/feedback Disallow: /home/dashboard Disallow: /inbox Disallow: /logout Disallow: /manage-listing Disallow: /messaging/ajax\_already\_messaged/ Disallow: /my\_listings Disallow: /skeleton$ Disallow: /skeleton/ Disallow: /payments/book Disallow: /signup\_modal Disallow: /signed\_out\_modal.json Disallow: /.well-known/assetlinks.json Disallow: /help/search Disallow: /trips/upcoming Disallow: /trips/v1/ Disallow: /update-your-browser Disallow: /reservation Disallow: /rooms/\*/safety Disallow: /rooms/\*/reviews Disallow: /rooms/\*/photos Disallow: /rooms/\*/location Disallow: /rooms/\*/house-rules Disallow: /rooms/\*/enhanced-cleaning Disallow: /rooms/\*/amenities Disallow: /users/show Disallow: /users/\*/listings Disallow: /contact\_host Disallow: /book Disallow: /stories Disallow: /embeddable Disallow: /guidebooks User-Agent: \* Allow: /calendar/ical/ Allow: /.well-known/amphtml/apikey.pub Disallow: /account Disallow: /alumni Disallow: /associates/click Disallow: /api/v1/trebuchet Disallow: /calendar/ Disallow: /disaster/lookup Disallow: /email/unsubscribe Disallow: /fix-it Disallow: /fixit Disallow: /forgot\_password Disallow: /groups Disallow: /help/search Disallow: /help/feedback Disallow: /home/dashboard Disallow: /inbox Disallow: /logout Disallow: /manage-listing Disallow: /messaging/ajax\_already\_messaged/ Disallow: /my\_listings Disallow: /skeleton$ Disallow: /skeleton/ Disallow: /payments/book Disallow: /signup\_modal Disallow: /signed\_out\_modal.json Disallow: /.well-known/assetlinks.json Disallow: /help/search Disallow: /trips/upcoming Disallow: /trips/v1/ Disallow: /update-your-browser Disallow: /reservation Disallow: /rooms/\*/safety Disallow: /rooms/\*/reviews Disallow: /rooms/\*/photos Disallow: /rooms/\*/location Disallow: /rooms/\*/house-rules Disallow: /rooms/\*/enhanced-cleaning Disallow: /rooms/\*/amenities Disallow: /users/show Disallow: /users/\*/listings Disallow: /contact\_host Disallow: /book Disallow: /stories Disallow: /embeddable Disallow: /guidebooks Sitemap: <https://www.airbnb.com/sitemap-master-index.xml.gz> Airbnb. comparto

\#Google Search Engine Robot User-agent: Googlebot Allow: / \#Yahoo! Search Engine Robot User-Agent: Slurp Allow: / \#Yandex Search Engine Robot Allow: / \#Microsoft Search Engine Robot User-Agent: msnbot Allow: / \#Twitter Search Engine Robot User-agent: Twitterbot Allow: / \# Every bot that might possibly read and respect this file. User-agent: \* Allow: / User-agent: facebookexternalhit Allow: / Sitemap: <https://telmex.com/sitemap.xml> interesante, yo la verdad no se nada del tema, estoy aprendiendo desde 0

 Interesante clase.

Hola, estoy muy feliz de compartir este curso. Tengo algunos años optimizando páginas web (pueden ver mis trabajos en: [www.mendozadaniel.com)](https://www.mendozadaniel.com\)) El SEO me ha permitido mejorar el rendimiento de los negocios que he asesorado.


 Esta es la captura del archivo Robots.txt de la página web de un wine bar para el cual trabajé

cual es el indicativo que me daria a conocer que la pagina web estuviera en estado critico que me debe indicar ,gracias



mi sitio es dentalix.co/robots.txt

¿Si no está especificado el allow en el archivo de robots.txt, asumo que el rastreador no puede entrar al sitio? 

Es correcto que google por default interpreta que lo que no esta Disallow, todo lo demas esta Allow?Es correcto que google por default interpreta que lo que no esta Disallow, todo lo demas esta Allow?```txt # we use Shopify as our ecommerce platform User-agent: * Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /services/login_with_shop Sitemap: https://clevercel.mx/sitemap.xml # Google adsbot ignores robots.txt unless specifically named! User-agent: adsbot-google Disallow: /checkouts/ Disallow: /checkout Disallow: /carts Disallow: /orders Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /services/login_with_shop Disallow: /cdn/wpm/*.js User-agent: Nutch Disallow: / User-agent: AhrefsBot Crawl-delay: 10 Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /services/login_with_shop Sitemap: https://clevercel.mx/sitemap.xml User-agent: AhrefsSiteAudit Crawl-delay: 10 Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /services/login_with_shop Sitemap: https://clevercel.mx/sitemap.xml User-agent: MJ12bot Crawl-delay: 10 User-agent: Pinterest Crawl-delay: 1 ```

Es correcto que google por default interpreta que lo que no esta Disallow, todo lo demas esta Allow?# we use Shopify as our ecommerce platform User-agent: \* Disallow: /a/downloads/-/\* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/\*sort\_by\* Disallow: /\*/collections/\*sort\_by\* Disallow: /collections/\*+\* Disallow: /collections/\*%2B\* Disallow: /collections/\*%2b\* Disallow: /\*/collections/\*+\* Disallow: /\*/collections/\*%2B\* Disallow: /\*/collections/\*%2b\* Disallow: \*/collections/\*filter\*&\*filter\* Disallow: /blogs/\*+\* Disallow: /blogs/\*%2B\* Disallow: /blogs/\*%2b\* Disallow: /\*/blogs/\*+\* Disallow: /\*/blogs/\*%2B\* Disallow: /\*/blogs/\*%2b\* Disallow: /\*?\*oseid=\* Disallow: /\*preview\_theme\_id\* Disallow: /\*preview\_script\_id\* Disallow: /policies/ Disallow: /\*/policies/ Disallow: /\*/\*?\*ls=\*\&ls=\* Disallow: /\*/\*?\*ls%3D\*%3Fls%3D\* Disallow: /\*/\*?\*ls%3d\*%3fls%3d\* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/\*.js Disallow: /services/login\_with\_shop Sitemap: <https://clevercel.mx/sitemap.xml> \# Google adsbot ignores robots.txt unless specifically named! User-agent: adsbot-google Disallow: /checkouts/ Disallow: /checkout Disallow: /carts Disallow: /orders Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /\*?\*oseid=\* Disallow: /\*preview\_theme\_id\* Disallow: /\*preview\_script\_id\* Disallow: /services/login\_with\_shop Disallow: /cdn/wpm/\*.js User-agent: Nutch Disallow: / User-agent: AhrefsBot Crawl-delay: 10 Disallow: /a/downloads/-/\* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/\*sort\_by\* Disallow: /\*/collections/\*sort\_by\* Disallow: /collections/\*+\* Disallow: /collections/\*%2B\* Disallow: /collections/\*%2b\* Disallow: /\*/collections/\*+\* Disallow: /\*/collections/\*%2B\* Disallow: /\*/collections/\*%2b\* Disallow: \*/collections/\*filter\*&\*filter\* Disallow: /blogs/\*+\* Disallow: /blogs/\*%2B\* Disallow: /blogs/\*%2b\* Disallow: /\*/blogs/\*+\* Disallow: /\*/blogs/\*%2B\* Disallow: /\*/blogs/\*%2b\* Disallow: /\*?\*oseid=\* Disallow: /\*preview\_theme\_id\* Disallow: /\*preview\_script\_id\* Disallow: /policies/ Disallow: /\*/policies/ Disallow: /\*/\*?\*ls=\*\&ls=\* Disallow: /\*/\*?\*ls%3D\*%3Fls%3D\* Disallow: /\*/\*?\*ls%3d\*%3fls%3d\* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/\*.js Disallow: /services/login\_with\_shop Sitemap: <https://clevercel.mx/sitemap.xml> User-agent: AhrefsSiteAudit Crawl-delay: 10 Disallow: /a/downloads/-/\* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/\*sort\_by\* Disallow: /\*/collections/\*sort\_by\* Disallow: /collections/\*+\* Disallow: /collections/\*%2B\* Disallow: /collections/\*%2b\* Disallow: /\*/collections/\*+\* Disallow: /\*/collections/\*%2B\* Disallow: /\*/collections/\*%2b\* Disallow: \*/collections/\*filter\*&\*filter\* Disallow: /blogs/\*+\* Disallow: /blogs/\*%2B\* Disallow: /blogs/\*%2b\* Disallow: /\*/blogs/\*+\* Disallow: /\*/blogs/\*%2B\* Disallow: /\*/blogs/\*%2b\* Disallow: /\*?\*oseid=\* Disallow: /\*preview\_theme\_id\* Disallow: /\*preview\_script\_id\* Disallow: /policies/ Disallow: /\*/policies/ Disallow: /\*/\*?\*ls=\*\&ls=\* Disallow: /\*/\*?\*ls%3D\*%3Fls%3D\* Disallow: /\*/\*?\*ls%3d\*%3fls%3d\* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/\*.js Disallow: /services/login\_with\_shop Sitemap: <https://clevercel.mx/sitemap.xml> User-agent: MJ12bot Crawl-delay: 10 User-agent: Pinterest Crawl-delay: 1```js # we use Shopify as our ecommerce platform User-agent: * Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /services/login_with_shop Sitemap: https://clevercel.mx/sitemap.xml # Google adsbot ignores robots.txt unless specifically named! User-agent: adsbot-google Disallow: /checkouts/ Disallow: /checkout Disallow: /carts Disallow: /orders Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /services/login_with_shop Disallow: /cdn/wpm/*.js User-agent: Nutch Disallow: / User-agent: AhrefsBot Crawl-delay: 10 Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /services/login_with_shop Sitemap: https://clevercel.mx/sitemap.xml User-agent: AhrefsSiteAudit Crawl-delay: 10 Disallow: /a/downloads/-/* Disallow: /admin Disallow: /cart Disallow: /orders Disallow: /checkouts/ Disallow: /checkout Disallow: /32587088005/checkouts Disallow: /32587088005/orders Disallow: /carts Disallow: /account Disallow: /collections/*sort_by* Disallow: /*/collections/*sort_by* Disallow: /collections/*+* Disallow: /collections/*%2B* Disallow: /collections/*%2b* Disallow: /*/collections/*+* Disallow: /*/collections/*%2B* Disallow: /*/collections/*%2b* Disallow: */collections/*filter*&*filter* Disallow: /blogs/*+* Disallow: /blogs/*%2B* Disallow: /blogs/*%2b* Disallow: /*/blogs/*+* Disallow: /*/blogs/*%2B* Disallow: /*/blogs/*%2b* Disallow: /*?*oseid=* Disallow: /*preview_theme_id* Disallow: /*preview_script_id* Disallow: /policies/ Disallow: /*/policies/ Disallow: /*/*?*ls=*&ls=* Disallow: /*/*?*ls%3D*%3Fls%3D* Disallow: /*/*?*ls%3d*%3fls%3d* Disallow: /search Disallow: /apple-app-site-association Disallow: /.well-known/shopify/monorail Disallow: /cdn/wpm/*.js Disallow: /services/login_with_shop Sitemap: https://clevercel.mx/sitemap.xml User-agent: MJ12bot Crawl-delay: 10 User-agent: Pinterest Crawl-delay: 1 ```

```txt User-agent: * Allow: / Disallow: /account/* Disallow: /login* Disallow: /checkout/* Disallow: /busca/*/?* Disallow: /quick-view/* Disallow: /espiar/* User-agent: * Allow: /*.css Allow: /*.jpeg Allow: /*.js Allow: /*.png Allow: /*.webp Allow: /*.jpg Allow: /*.svg Allow: /*.woff Allow: /*.gif Allow: /*.ico User-agent: * Disallow: /*? Disallow: /*& Disallow: /*% Disallow: /coleccion/ Allow: /*?idsku= Allow: /*?skuid= Allow: /*?page= Allow: /_next/image?url= Allow: /api/orderForm? Allow: /api/graphql? Allow: /api/masterdata/search?entity= Sitemap: https://www.exito.com/sitemap/sitemap.xml ```User-agent: \* Allow: / Disallow: /account/\* Disallow: /login\* Disallow: /checkout/\* Disallow: /busca/\*/?\* Disallow: /quick-view/\* Disallow: /espiar/\* User-agent: \* Allow: /\*.css Allow: /\*.jpeg Allow: /\*.js Allow: /\*.png Allow: /\*.webp Allow: /\*.jpg Allow: /\*.svg Allow: /\*.woff Allow: /\*.gif Allow: /\*.ico User-agent: \* Disallow: /\*? Disallow: /\*& Disallow: /\*% Disallow: /coleccion/ Allow: /\*?idsku= Allow: /\*?skuid= Allow: /\*?page= Allow: /\_next/image?url= Allow: /api/orderForm? Allow: /api/graphql? Allow: /api/masterdata/search?entity= Sitemap: <https://www.exito.com/sitemap/sitemap.xml>

Parte del resultado de google: 

\# INICIAR BLOQUEO DE YOAST \# --------------------------- Agente de usuario: \* Rechazar: Mapa del sitio: <https://nogarq.com/sitemap_index.xml> \# --------------------------- \# FINALIZAR BLOQUEO DE YOAST

<https://platzi.com/robots.txt>


<https://www.youtube.com/robots.txt#> robots.txt file for YouTube \# Created in the distant future (the year 2000) after \# the robotic uprising of the mid 90's which wiped out all humans. User-agent: Mediapartners-Google\* Disallow: User-agent: \* Disallow: /comment Disallow: /feeds/videos.xml Disallow: /get\_video Disallow: /get\_video\_info Disallow: /get\_midroll\_info Disallow: /live\_chat Disallow: /login Disallow: /qr Disallow: /results Disallow: /signup Disallow: /t/terms Disallow: /timedtext\_video Disallow: /verify\_age Disallow: /watch\_ajax Disallow: /watch\_fragments\_ajax Disallow: /watch\_popup Disallow: /watch\_queue\_ajax Sitemap: <https://www.youtube.com/sitemaps/sitemap.xml> Sitemap: <https://www.youtube.com/product/sitemap.xml> ```html # robots.txt file for YouTube # Created in the distant future (the year 2000) after # the robotic uprising of the mid 90's which wiped out all humans. User-agent: Mediapartners-Google* Disallow: User-agent: * Disallow: /comment Disallow: /feeds/videos.xml Disallow: /get_video Disallow: /get_video_info Disallow: /get_midroll_info Disallow: /live_chat Disallow: /login Disallow: /qr Disallow: /results Disallow: /signup Disallow: /t/terms Disallow: /timedtext_video Disallow: /verify_age Disallow: /watch_ajax Disallow: /watch_fragments_ajax Disallow: /watch_popup Disallow: /watch_queue_ajax Sitemap: https://www.youtube.com/sitemaps/sitemap.xml Sitemap: https://www.youtube.com/product/sitemap.xml ```


¿Deberia tener necesariamente el sitemap? ```txt # Default robots file version:2 User-agent: * Disallow: /calendar/action* Disallow: /events/action* Allow: /*.css Allow: /*.js Disallow: /*? Crawl-delay: 3 ```Veo que en este ejemplo no lo tiene...

hola Ivan, gracias por la explicación. Tengo un Ecommerce y en su robots.txt tiene una gran cantidad de "Disallows" que me di cuenta que vienen por "Default" dado que la tienda está montada en shopify. Quería saber entonces si la configuración de Shopify la consideras correcta o "sana" para los ecommerce o si deberíamos flexibilizarla un poco. gracias!

¿Qué pasa cuando un sitio está hecho con un builder como WordPress o Joomla? Busqué un sitio así y sale el Robots.txt pero es de Joomla y no de ese dominio: <https://www.auditool.org/robots.txt>

Hola compañeros, Yo estudié a la página de maybelline y esto es lo que me aparece en el documento robots.txt Me da un poco de curiosidad que significa que no tenga permitido rastrear las paginas de los idiomas y algunas más. Alguien me puede ayudar con esa inquietud? Gracias!! 


Lo probe con Youtube! es muy interesante ver las paginas y sus artchivos Robots.txt# robots.txt file for YouTube \# Created in the distant future (the year 2000) after \# the robotic uprising of the mid 90's which wiped out all humans. User-agent: Mediapartners-Google\* Disallow: User-agent: \* Disallow: /comment Disallow: /feeds/videos.xml Disallow: /get\_video Disallow: /get\_video\_info Disallow: /get\_midroll\_info Disallow: /live\_chat Disallow: /login Disallow: /qr Disallow: /results Disallow: /signup Disallow: /t/terms Disallow: /timedtext\_video Disallow: /verify\_age Disallow: /watch\_ajax Disallow: /watch\_fragments\_ajax Disallow: /watch\_popup Disallow: /watch\_queue\_ajax Sitemap: <https://www.youtube.com/sitemaps/sitemap.xml> Sitemap: <https://www.youtube.com/product/sitemap.xml> ```js # robots.txt file for YouTube # Created in the distant future (the year 2000) after # the robotic uprising of the mid 90's which wiped out all humans. User-agent: Mediapartners-Google* Disallow: User-agent: * Disallow: /comment Disallow: /feeds/videos.xml Disallow: /get_video Disallow: /get_video_info Disallow: /get_midroll_info Disallow: /live_chat Disallow: /login Disallow: /qr Disallow: /results Disallow: /signup Disallow: /t/terms Disallow: /timedtext_video Disallow: /verify_age Disallow: /watch_ajax Disallow: /watch_fragments_ajax Disallow: /watch_popup Disallow: /watch_queue_ajax Sitemap: https://www.youtube.com/sitemaps/sitemap.xml Sitemap: https://www.youtube.com/product/sitemap.xml ```


Comparto estos, vi el de Apple y parece que tienen uno por sección. Este es el de: <https://www.google.com/robots.txt> Y el de <https://www.amazon.com/robots.txt>

Me comparte el archivo EXCEL, gracias

 


Esto es lo que me arrojó mi sitio. 

Gracias por el aporte! , aunque se ve sencillo es muy fundamental para nuestro SEO. Lo que encontré bastante interesante es que puedes excluir páginas con su misma ruta especifica /ruta/ejemplodesitio etc.

\# START YOAST BLOCK \# --------------------------- User-agent: \* Disallow: Sitemap: <https://mundoanimalmid.com/sitemap_index.xml> \# --------------------------- \# END YOAST BLOCK Asi, sale pero no se como editarla, es de WP

Esta es de la pagina que le estoy llevando a un cliente, pero no se como editarla, es WP


Hola, se me ha generado una duda. Si la páginaque estoy consultando no tiene el término "Allow" ¿significa que si tiene permitido rastrear?. Consulto ya que solo me aparece User-agent y Disallow (pero no tiene nada mencionado) Muchas gracias!

El de platzi

Hola a todos, consulte le archivo robots.txt en la página de Dtc.com.co y me sale esto Agente de usuario: \* No permitir: /404 Este no permiti esta bien o lo debo quitar? Gracias al que me pueda aclarar.

![]()

Hola! Tengo algunas dudas con este archivo. En el Robots de la empresa donde trabajo la instrucción no incluye la regla del Allow, pero incluye bastantes disallows y alguans URLs no están correctamente escritas por alguna razón. User-agent: \* Sitemap: <https://www.MIEMPRESA.com/sitemap.xml> Host: <https://www.MIEMPRESA.com/> Disallow: /admin Disallow: /bin/ Disallow: /files/ Disallow: /files/exportimport/ Disallow: /country/getstatesbycountryid Disallow: /install Disallow: /setproductreviewhelpfulness Disallow: /\*?\*returnUrl= Disallow: /addproducttocart/catalog/ Debería modificar el archivo para permitir entrar al robots.txt y al mismo tiempo ajustar los demás archivos? O con el host y sitemap es suficiente?

Dejo por acá el robots.txt del sitio web que estoy trabajando \# START YOAST BLOCK \# --------------------------- User-agent: \* Disallow: Sitemap: <https://zightglass.com/sitemap_index.xml> \# --------------------------- \# END YOAST BLOCK No tiene nada bloqueado, y cuenta con el sitemap.

 Solo me sale eso en la página /robots.txt Alguien sabe por qué?![]()

.png)

![]()![]().png)que opinan del rastreo de esta página, muchas gracias <3

excelente clase