David Campos
Preguntasi me dirijo al robots.txt y encuentro esto:
User-agent: Slurp
Crawl-delay: 2
User-agent: Mediapartners-Google
Disallow:
User-agent: wget
Disallow: /
User-agent: *
Allow: /
significa que puedo hacer web scrapping o que no puedo hacer scrapping en todo lo que vaya despues del “/”
Moisés Manuel Morín Hevia
Puedes escrapear todo menos los usuarios. Si igual lo vas a hacer te recomiendo usar un VPN para que tu IP sea otra.
Aprende las bases de la extracción de datos en Internet y descubre cómo funciona una aplicación de Web Scraping internamente. Desarrolla scripts a través de herramientas como Python y las DevTools del navegador y consigue tu siguiente trabajo en cualquier empresa de tecnología.
Aprende las bases de la extracción de datos en Internet y descubre cómo funciona una aplicación de Web Scraping internamente. Desarrolla scripts a través de herramientas como Python y las DevTools del navegador y consigue tu siguiente trabajo en cualquier empresa de tecnología.