en caso de tener una pagina en wordpress como se pone el archivo robots.txt? y cual es los riesgo de no tener esta pagina. Estuve buscanc...

Pregunta de la clase:
Robots.txt: permisos y consideraciones al hacer web scraping
Ivan Butron Sossa

Ivan Butron Sossa

Pregunta
student•hace 4 años

en caso de tener una pagina en wordpress como se pone el archivo robots.txt? y cual es los riesgo de no tener esta pagina. Estuve buscanco estos archvos en algunas paginas que estan hechas en wordpress y pues no lo tienen. GRacias!

1 respuestas
para escribir tu comentario
    Anthony Ismael Manotoa Moreno

    Anthony Ismael Manotoa Moreno

    student•hace 4 años

    Hola :)

    La mayoría de plugins para SEO te lo colocan automáticamente por ejemplo están Rankmath, Yoast SEO o SEO Press.

    El principal uso que se le da es para que Google no rastree lo que se indique ahí, por ejemplo todo el dashboard visual de WordPress.

Curso de Web Scraping con Python y Xpath

Curso de Web Scraping con Python y Xpath

Aprende las bases de la extracción de datos en Internet y descubre cómo funciona una aplicación de Web Scraping internamente. Desarrolla scripts a través de herramientas como Python y las DevTools del navegador y consigue tu siguiente trabajo en cualquier empresa de tecnología.

Ir al curso
Curso de Web Scraping con Python y Xpath
Curso de Web Scraping con Python y Xpath

Curso de Web Scraping con Python y Xpath

Aprende las bases de la extracción de datos en Internet y descubre cómo funciona una aplicación de Web Scraping internamente. Desarrolla scripts a través de herramientas como Python y las DevTools del navegador y consigue tu siguiente trabajo en cualquier empresa de tecnología.

Ir al curso