Una parte de mi se rompió al escuchar esto después de dedicarle 6 horas al scraper de LatamAirlines…
Scrapy, Tesseracts y Proxies
Introducción, definiciones y ética
Introducción y definiciones
Ética y Legalidad
Configuración del entorno de trabajo con Jupyter
HTML: Requests y BeautifulSoup
Descargando una página web
Parseando HTML con BeautifulSoup
Extrayendo información
Manejo de errores
Descargando contenido
Contenido multimedia
Unificando el scraper
Scraping JavaScript con Selenium
Instalación y configuración de Selenium
Sitios dinámicos y Selenium
Selección de elementos
Interactuando con los elementos
Scrapeando escalas y tarifas
Construyendo Funciones
Construyendo la función para unificar el scraper
Demoras dinámicas
Comentarios finales
APIs
Introducción a APIs
Utilizando APIs: Construir una URL
Utilizando APIs: Tokens y Búsqueda
Obteniendo la discografía
Obteniendo los albums
Fin del proyecto + bonus
Scrapy, Tesseract y Proxies
Scrapy
Ejecutando el scraper con scrapy
Proxies
Tesseract
Conclusión y cierre del curso
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Martín Sokolowicz
Aportes 18
Preguntas 2
Una parte de mi se rompió al escuchar esto después de dedicarle 6 horas al scraper de LatamAirlines…
Para loguearse en una web que lo requiera, deben usar:
from selenium.webdriver.common.keys import Keys
element = driver.find_element_by_name(“ctl00$ContentPlaceHolder1$LoginView1$Login1$UserName”)
element.send_keys(“usuarioXXX”)
element = driver.find_element_by_name(“ctl00$ContentPlaceHolder1$LoginView1$Login1$Password”)
element.send_keys(“passXXX”)
element.send_keys(Keys.ENTER)
Entiendo, Selenium solo en casos extremos cuando haya mucha interacción de javascript o cuando no sea importante el tiempo de obtención de los datos.
Semana y media dandole duro con Selenium y ahora me dice que lo evite al maximo???, la verdad me senti muy bien aprendiendo esto.
yo: contruyo 3 proyectos para practicar usando selenium, sintiendome poderoso, y armando portafolio bien mamalon
Martin Sokolokicz: "en lo posible evita usar selenium…"
yo:
seria cool un curso para salvar datos en la base de datos con python
Al principio me costó mucho seguir los ejercicios, pero cuando le agarré la mano a definir bien las clases mejoró mucho. Los ejemplos son excelentes! Este curso viene genial 😄
Me costó un poco al principio pero luego que le tome la lógica me puse al corriente. Los ejemplos son muy buenos. Vamos a por las APIs
hasta los momentos es un buen curso
La única forma es con anaconda no se puede hacer desde una terminal o algo mas fácil?
Este modulo fue divertidísimo, con final triste.
Anotaciones y Ejercicios Curso de Web Scraping - Modulo III
Si aun te quedaron dudas de este modulo. te dejo esta y todas las anotaciones del curso actualizados al 2023, tome nota de los comentarios y ejercicios resueltos de cada sección. Lleve en cuenta las explicaciones del docente y más! Espero les sirva. 👌
(si quieres apoyar deja una estrella a la repo ✌⭐)
Es verdad, estaba usando requests y scrapy para scrapear páginas, pero me daban error. Me di cuenta que estaba tratando de obtener información que las páginas generan dinámicamente con JavaScript y que dichas herramientas no pueden obtener.
Con Selenium sí pude obtenerlas e incluso, hacer más fácil que con puro código no pude. Me encantó la herramienta, y obvio no utilizarla como principal, sino como una última opción. Me gustó.
Me pareció super vacano todo lo que hizo con Selenium… me partiste el corazón profe… excelente clase
Buen consejo, esto de evitar selenium, me tarde en enterle bastante. Buen proyecto.
Hablando de “arreglarmelas” sin usar selenium, o sea, usar beatiful soup y request, de qué otra otra forma podríamos solucionar el dar clic a un enlace sin selenium…?
O lo que propones es algo como lo que se hizo con el sitio de pagina12? Buscar los enlaces y hacer request sin imitar el comportamiento de click ?
Gracias.
Muy bueno este modulo, excelente
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?