No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Robots.txt

12/19
Recursos

Aportes 9

Preguntas 3

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

Faltar铆a el user agent y por supuesto los allow:
User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap:

El archivo robots.txt es una herramienta que podemos usar para controlar el acceso de los motores de b煤squeda a nuestro sitio web. Se encuentra en la ra铆z de nuestro sitio y contiene instrucciones para los robots o rastreadores de los motores de b煤squeda sobre qu茅 p谩ginas deben indexar y cu谩les deben ignorar.

El formato es sencillo y consiste en un conjunto de l铆neas de instrucciones que se dividen en dos partes: User-Agent y Disallow. User-Agent nos permite especificar para qu茅 motor de b煤squeda est谩n destinadas las instrucciones siguientes. Por ejemplo, si ponemos 鈥淯ser-Agent: Googlebot鈥, estamos diciendo que las instrucciones siguientes son para el robot de Google.

En cuanto a Disallow, nos permite especificar las p谩ginas que el robot debe ignorar. Por ejemplo, si ponemos 鈥淒isallow: /pagina-secreta鈥, estamos diciendo que el robot debe ignorar la p谩gina 鈥/pagina-secreta鈥.

Es importante tener en cuenta que los motores de b煤squeda no est谩n obligados a respetar las instrucciones del archivo robots.txt, por lo que es posible que algunas p谩ginas sean indexadas a pesar de haber sido excluidas. Por esta raz贸n, es crucial que asegur茅monos de no bloquear p谩ginas importantes que deben ser indexadas, ya que esto puede afectar negativamente nuestro SEO.

En conclusi贸n, el archivo robots.txt es una herramienta valiosa que nos permite controlar el acceso de los motores de b煤squeda a nuestro sitio web. Sin embargo, es importante utilizarlo de manera adecuada y tener en cuenta sus limitaciones.

falta el user-agent, en mi pagina lo tengo habilitado a todos los robots con 鈥渦ser-agent: *鈥

Para los que usan woocommerce este robots txt es ideal para no tener tanto problemas con el index:
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
Disallow: *page
Disallow: *cart
Disallow: *my-account
Disallow: *account/
Disallow: *?remove_item
Disallow: *search

user-agent: identifies which crawler the rules apply to.

User-agent: *
Allow: /*

User-agent: *
Allow: /*

falta el user-agent, para decirle con que robot hablamos