Python: el lenguaje más poderoso para extraer datos

Clase 3 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Santiago Gomez Florez

student•

Le comparto este blog el cual tiene el top 10 de las herramientas mas utilizadas y poderosas para el Web Scrapping. Se los super recomiendo ✔

David Amador Morales

student•

Muchas gracias por el aporte, es un tema interesante este del scrapping.

Eduardo Sebastián Sandoval Jiménez

student•

Excelente aporte!!!

Pablo Amador Hernández Román

student•

vaya si que hay herramientas on line, aquí unos ejemplos:

scrapingdog.com arundo.com webscraper.io apify.com parsehub.com

https://youtu.be/gaF8B-5bBlA

Moisés Manuel Morín Hevia

student•

El futuro es ahora !

Juan R. Vergara M.

student•

Gracias por el aporte 🥇

Alejandro Giraldo Londoño

student•

RESUMEN: Python: el lenguaje más poderoso para extraer datos

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

Request

Es una librería nos permite controlar HTTP. El conjunto de reglas o protocolos de comunicación. En el enlace está la documentación en español plano.

"El gobierno de su Majestad, Amazon, Google, Twilio, Mozilla, Heroku, PayPal, NPR, Obama for America, Transifex, Native Instruments, The Washington Post, Twitter, SoundClound, Kippt, Readability y algunas organizaciones Federales de los Estados Unidos de América utilizan Requests internamente. Ha sido descargado más de 8,000,000 de veces desde PyPI. "

Beautiful Soup

Es una libería de pyhton qué nos sirve para extraer información HTML y XML. Recibe este nombre debido a un poema con el mismo nombre de Lewins Carroll en Alicia en el pais de la maravillas.

"Beautiful Soup, so rich and green, Waiting in a hot tureen! Who for such dainties would not stoop? Soup of the evening, beautiful Soup! "

Selenium

Podemos crear navegadores fantasmas para controlar sitios web de manera automática. Bots.

Scrapy

Permite escribir reglas para extraer los datos, es extensible por diseño, es rápido y simple. Es usado por el UK para recolectar datos de la población.

HERRAMIENTAS DE WEBSCRAPPING

Los siguientes son soluciones que no necesitan codear, y que en su mayoría tienen un propósito específico. Enfocados ecomerce o a funciones como tomar screenshots de PDFs. Automatizar y agendar actividades, y las soluciones están dadas como pluggins en el navegador hasta servicios.

LIBRERÍAS Y LENGUAJES

Rvest Es una librería inspirada en Beautiful soup, diseñada para cosechar y recolectar datos de HTML. Se usa en R studio.
Puppeteer Es una librería de Js que puede usarse para diferentes propósitos entre los cuales el webscrapping es uno.

Nicolas Barragan

student•

Muchas gracias por este resumen

Patricia Carolina Perez Felibert

student•

buen resumen, gracias!

Jozik Michael Patzi Crespo

student•

Existen varios Frameworks para hacer Web Scraping, entre los màs populares: 1.- Scrapy. 2.- Jaunt. 3.- Storm Crawler.

David Esteban Solorzano Taborda

student•

Desconocia los 2 ultimos, unicamente he trabajado con BeautifulSoup y Scrapy

Israel Yance

student•

¿Tienes experiencia en algunas de ellas?

Luis Mojica

teacher•

[1:36] Selenium: framework avanzado que se usa para crear navegadores fantasma y poder controlar sitios web de forma automatica, como los bots.

JUAN SEBASTIAN ZAPATA AVENDAÑO

student•

Python es el lenguaje mas especializado en realizar ciencia de datos, y posee una gran cantidad de modulos y herramientas para hacer web scraping.

Camilo Puentes

student•

Buscando por internet encontré que el lenguaje mas popular para realizar scraping es python con scrapy, si embargo hay alternativas como go con Colly y con Ruby con Kimurai

Les recomiendo este articulo en donde hacen una pequeña descripción de 11 Librerias o Frameworks para hacer scrapping

https://geekflare.com/web-scraping-frameworks/

Pablo Perez

student•

buen aporte 😎

Cristian Nicolás Pereira

student•

Herramientas para web scrapping:

Diffbot (inteligencia artificial para extraer datos)
ParseHub (especializada en páginas dinámicas)
Hunter (captura correos electrónicos a través de páginas webs)

Sergio Andrés Pachón Dotor

student•

Encontré esta aplicación de web scraping para uso en investigación biológica como lo es la Bioinformática. **Link: ** https://academic.oup.com/bib/article/15/5/788/2422275

Alexander Silvera

student•

Que tipos de proyectos puedo vincular entre web scraping, con un proyecto de Django??

Jorge David Duque Agudelo

student•

Por ejemplo, un dashboard para capturar ofertas emergentes en los marketplace más populares.

Kennedy ${{7*7}} Sanchez ${7*7}

student•

Es todo un mundo de posibilidades. Almacenas datos de diferentes sitios a traves de tecnicas de Webscraping en una fuente de datos (DB, .txt, etc) y subes una web con un Dashboard(Django) para mostrar ciertos analisis que hayas realizado con esa data.

Harold Gama

student•

node.js + Puppeteer

Jose Reinaldo Roca Cruz

student•

Excelente noticia el curso de Scrapy

Luis Mojica

teacher•

[0:56] Módulo o Librería request: Nos permite controlar http. Un conjunto de reglas mediante las cuales se comunican dos computadores en internet.

Eduardo Mejia

student•

yo entre otras cosas econtre que aqui en canada se hace a nivel de gobierno y supongo que en otros paises o cada pais hace lo mismo, me llamo mucho la atencion que tienen todo un departamento y es bastante grande al respecto del webscraping, les dejo el link por si les interesa, saludos

https://www.statcan.gc.ca/eng/our-data/where/web-scraping

Luis Mojica

teacher•

[1:51] Scrapy: Usado por el gobierno del reino unido en tareas de recolección de datos de sus ciudadanos.

Juan David Suarez

student•

https://papelesdeinteligencia.com/herramientas-de-web-scraping/ https://www.octoparse.es/blog/las-20-mejores-herramientas-de-web-scraping

No me esperaba que fueran demasiados :O El primer link pueden ver los diferentes propósitos que tiene cada herramienta que menciona.

Kevin Jeremy Salazar Jimenez

student•

se puede integrar python con react js?

- -

student•

Si! Con django.

Javier Daza

student•

Además de Django, también se puede integrar con Flask. Con cualquier framework de Python (en este caso) que te permita desarrollar APIs

Daniel Paloma Murcia

student•

Todos muy emocionados con los webscrapers, muy bueno y todo pero también hay que tener en cuenta algunos aspectos legales para no violar la ley de proteccion de datos (no soy abogado, pero tampoco quiero meterme en problemas).

En estos articulos les comparto cuál es la información sensible donde los "web scrapers" son ilegales, en resumen se deben responder estas preguntas:

Am I scraping personal data?
Am I scraping copyrighted data?
Am I scraping data from behind a login?

If your answers to all three of these questions is “No”, then your web scraping is legal.

Source: Essential Legal Issues Associated With Web Scraping

Is Web Scraping Legal? The Complete 2020 Guide

GERALDINNE SANCHEZ DURANGO

student•

Qué interesante realizar análisis de redes sociales de mis computadores como proceso de Benchmarking

Daniel Edgardo García Bonilla

student•

Existen muchas herramientas automatizadas para realizar web scraping ( octopas, scrapping hub, visual scraper, etc..) en las cuales probablemente la curva de aprendizaje para utilizarlas es menor que utilizar python. La diferencia en cuanto cualquier herramienta automatizada y herramientas de python es la flexibilidad que python ofrece para incluso desafiar páginas que cuentan con técnicas anti-scrapping.