1. Curva de aprendizaje
Incluso la herramienta de raspado más fácil requiere tiempo para dominarla. Algunas herramientas, como Apify, aún requieren conocimientos de codificación para usarla. Algunas herramientas que no son fáciles de manejar pueden tardar semanas en aprender. Para raspar sitios web con éxito, es necesario tener conocimientos sobre XPath, HTML, AJAX.
2. La estructura de los sitios web cambia con frecuencia
Los datos extraídos se organizan de acuerdo con la estructura del sitio web. A veces, vuelve a visitar un sitio y encontrará que el diseño ha cambiado. Algunos diseñadores actualizan constantemente los sitios web para mejorar la interfaz de usuario, algunos pueden hacerlo con el fin de anti-scraping. El cambio puede ser pequeño como un cambio de posición de un botón o puede ser un cambio drástico del diseño general de la página. Incluso un cambio menor puede estropear sus datos. Como los rastreadores se construyen de acuerdo con el sitio anterior, debe ajustar sus rastreadores cada pocas semanas para obtener los datos correctos.
3. No es fácil manejar sitios web complejos.
Aquí viene otro complicado desafío técnico. Si observa el raspado web en general, el 50% de los sitios web son fáciles de scraspear, el 30% son moderados y el último 20% es bastante difícil de hacer web scraping. Algunas herramientas de raspado están diseñadas para extraer datos de sitios web simples que aplican navegación numerada. Sin embargo, hoy en día, más sitios web están comenzando a incluir elementos dinámicos como AJAX. Los sitios grandes como Twitter aplican un desplazamiento infinito y algunos sitios web necesitan que los usuarios hagan clic en el botón “cargar más” para seguir cargando el contenido. En este caso, los usuarios requieren una herramienta de raspado más funcional.
4. Extraer datos a gran escala es mucho más difícil
Algunas herramientas no pueden extraer millones de registros, ya que solo pueden manejar un raspado a pequeña escala. Esto causa dolores de cabeza a los propietarios de negocios de comercio electrónico que necesitan millones de líneas de datos regulares directamente en su base de datos.
5. Una herramienta de web scraping no es omnipotente
¿Qué tipo de datos se pueden extraer? Principalmente, los textos y URLs.
Las herramientas avanzadas pueden extraer textos del código fuente (HTML interno y externo) y usar expresiones regulares para reformatearlo. En el caso de las imágenes, solo se pueden extraer sus URLs y convertirlas en imágenes más tarde.
Además, es importante tener en cuenta que la mayoría de los raspadores web no pueden rastrear archivos PDF, ya que analizan elementos HTML para extraer los datos. Para extraer datos de archivos PDF, necesita otras herramientas como Smallpdf y PDFelements.
6. Su IP puede ser prohibida por el sitio web de destino.
Captcha molesta. ¿Alguna vez se le ocurre que necesita superar un captcha al raspar de un sitio web? Tenga cuidado, eso podría ser una señal de detección de IP. Raspar un sitio web genera mucho tráfico, lo que puede sobrecargar un servidor web y causar pérdidas económicas al propietario del sitio. Para evitar bloquearse, existen muchos trucos. Por ejemplo, puede configurar su herramienta para simular el comportamiento de navegación normal de un humano.
**7. Incluso hay algunos problemas legales involucrados **
¿Es legal el web scraping? Es posible que un simple “sí” o “no” no cubra todo el tema. Digamos que … depende. Si está extrayendo datos públicos para usos académicos, debe estar bien. Pero si extrae información privada de sitios que indican claramente que no se permite el scraping automático, puede meterse en problemas. LinkedIn y Facebook se encuentran entre los que afirman claramente que “no damos la bienvenida a los scrapers aquí” en su archivo robots.txt / términos y servicio (ToS). Cuide sus actos mientras hace web scraping.
