Sebastián Andrade
Preguntalo que no este marcado disallow en el robots.txt significa que puedo hacer scraping? ademas si sale el “Disallow: /” que sale en varias paginas, ¿que significa esto en realidad? he leido varias respuestas y no lo he entendido
Alex Camacho
Entonces es como una advertencia de que mejor ahí no le muevas?
Carlos Daniel Dávila Maldonado
Si sale algo como disallow, de ahí en adelante no toques nada de esa ruta, significa que no quieren que hagas scraping de la información contenida en toda esas rutas
Alex Camacho
Eso es genial :) Cualquier duda que tengas no dudes en compartirla
Sebastián Andrade
Gracias, me ha ayudado leerlo
Alex Camacho
Te dejo una liga donde hablan del scraping un poco a fondo, quizá te ayude a clarificar :)
https://www.antevenio.com/blog/2019/03/que-es-el-web-scraping-y-para-que-sirve/
