Cómo continuar tu ruta de aprendizaje

Clase 21 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Clase anteriorSiguiente clase

Mauricio Gomez

student•

Facilmente este ha sido el curso que mas me ha gustado! Un crack Facundo!

Felipe Andres Torres Haro

student•

Realmente está muy bueno

Alejandro Giraldo Londoño

student•

RESUMEN:"Recordando"

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

En este curso aprendimos :

Las bases fundamentales del webscraping y porqué es importante en la actualdiad. y porqué esta herramienta es útil conocerla y saberla usar como un backend o un data Scientist
El web scraping es uan actividad que se puede hacer en diferentes lenguajes de programación, y con distintas herramientas automatizables, ya sea desde código hasta pluggins de chrome.
Revisar el robots.txt para saber siempre lo que está restringido por el usuario administrador, y así no incurrir en problemas legales.
Revisar legalidad sobre extracción de datos del país donde pretendo realizar webscraping
Xpath Lenguage como un generador de patrones de búsqueda en un árbol del DOM. Es decir, un apuntador a un XML.

"Xpath es a HTML como REGEX es a un documento de texto. Facundo Nicolás García Martoni"
La variabilidad de las expresiones Xpath varían en función del recorrido que se tome en el HTML, en el sitio web como tal y sus desarrolladores, así como las visicitudes del tiempo.
HTTP es un protocolo de comunicación para la transferencia de información. Así habla el cliente y el servidor.
HTTP es un paquete que lleva consigo HTML, CSS, Js, Web APIs. Y el servidor da una respuesta numérica en un intervalo de (100-500) que son respuestas a sucesos con el servidor. Van desde la abnegación de información a la satisfación de la solicitud.
Preparar el ambiente de trabajo apropiado en python es crucial, y lo aprendimos en diferentes OS, sobre Cmder en Windows y sobre las buenas prácticas de los ambientes virtuales.
Aprendimos las librerías Request, Lxml, Os, datetime, autopep8
Sobre manejo de errores, creación de archivos y carpetas en función de Noticias scrapeadas.
Utilizamos manejadores contextuales y desarrollamos un scraper robusto que colecta noticias del diario Colombiano "la republica"

Héctor Soto Huamaní

student•

Los mejores resúmenes del curso, crack. :D

Centli Allan Garcés Buendia

student•

Y yo que pensaba que Feddy y David Aroesti eran los únicos dioses en el olimpo de Platzi. Que grato es ver que ahí habitan más profesores increíbles. Eres grande Facundo, aunque esto tiene un por qué, me tocó que el profe me comentara post hechos en cursos pasados de python, por lo que puedo asumir que se echó todos los relacionados con ciencias de datos y de ahí armo este curso, se nota porque este curso tiene cubiertas todas las quejas que se expresan en los demás.

Gracias por tu dedicación profe Facundo.

Joan Benavides Olivera

student•

Eres con diferencia el profe que más me ha gustado. Gracias crack.

Moisés Manuel Morín Hevia

student•

QUé bueno, yo escojo a Anahí Salgado.

Bryan Javier Calero Robleto

student•

Hola, compañeros me gustaria compartirles mi proyecto de scraping, por si quiere practicar, es un scraper de tiempos verbales en varios idiomas: https://github.com/bcalero97/languague_scraper

Moisés Manuel Morín Hevia

student•

Thanks.

María José Medina

student•

En general fue un buen curso. Vengo de tomar los cursos de ingenieria de datos y de web scrapping y definitivamente creo que este quedaria mejor como inicio en el path de Data Engineer.

Maslov Viloria

student•

CONCLUSIONES

Scraping: Extraer información de la web de manera autómatica

Ventajas No dependo de una API No tengo limitaciones de ningun tipo en el tiempo de extraer información (write limit) y en que información puedo extraer

Desventajas Siempre vamos a depender de la estructura XML de la pagina y esto lo vimos evidenciado para cuando se extrajeron las primeras expresiones a la fecha

Proceso:

URL : tener una URL semila
Request : Realizar los requerimiento a esta URL
Response: Obtengo una respuesta de esta URL en formato XML que es la que vamos a parsear, es decir a obtener mis items
Populate Items : obtener la información que deseo de la respuesta
More URLs : a partir de la URL semilla ir a más URLs y de estas URLs repito el proceso

Hacer scraping implica responsabilidad:

Dar crédito de donde obtuve la data No publicar nada sin estar seguro de que es legal No sobrecargar sitios Y recuerda: Nunca es anónimo al hacer scraping

Jose Colmenares

student•

Facundo! Que gran curso! Tomé el consejo de unos compañeros de tomar este curso antes de los otros de Web Scraping y ahora creo que puedo hacerlos mucho más rápido y comprender mejor todo. Muchas gracias!

Moisés Manuel Morín Hevia

student•

estuvo bueno, ahora a aplicarlo.

Fabricio Escalante Pérez

student•

Muy buen profe y excelente curso. Justo acabando el curso hice este simple programa para obtener un listado de las canciones de una playlist de spotify en un archivo de texto https://github.com/ShortEmperor/Spotify-Playlist-ToText

Ray Trápala

student•

Muy buen curso

Hice el scrap de una página para extraer los ticker symbol de las acciones, nombres y la industria Esta página tiene una serie de pestañas para mostrar los ticker symbols pero, como le hago para navegar entre ellos? Se ve en otro curso? Por el momento dejo la extracción de los primeros 500 (que es la cantidad por default en la página)

import requests
import lxml.html as html
import os
from requests.models import Response

STOCKS_HOME = 'https://www.stockanalysis.com/stocks'
XPATH_TICKER = '//tbody//tr//td[1]/a/text()'
XPATH_COMPANY_NAME = '//tbody//tr//td[2]/text()'
XPATH_INDUSTRY = '//tbody//tr//td[3]/text()'


#-------------------------------------------------------------------------------
def extract_ticker_symbol(page_parsed: html) -> list:
    '''
    Summary:
        Function in charge of extract Ticker Symbol from the page
    Parameters:
        page_parsed -> A document with the capabiblity to be used with Xpath
    Returns:
        The list with the Ticker Symbols
    Warning:
        For now, it only extracts the first 500/6066 ticker symbols because i dont know how
        to navigate the web
    '''
    ticker_symbols_list = page_parsed.xpath(XPATH_TICKER)
    return ticker_symbols_list
    

#-------------------------------------------------------------------------------
def parse_home(link_response: Response) -> str:
    '''
    Summary:
        Function that parse HTML to a document tha can be used with Xpath
    Parameters:
        link_response -> Receives the response from the request to extract the html
                         to parse it and be a valid xpath docuement
    Reutrns:
        Returns the page parsed to use it with Xpath
    '''

    # home -> contains the html from the response
    home = link_response.content.decode('utf-8')

    # parsed -> transform the html to a special document where we can use Xpath
    parsed = html.fromstring(home)

    return parsed
    

#-------------------------------------------------------------------------------
def get_conection(link: str) -> int:
    '''
    Summary:
        Stablish conncetion to the page so it can start scrapin

    Parameters:
        link -> Receives the page link to scrap

    Returns:
        int -> Returns the status code number
    '''
    try:
        # Bring and save the response from Server
        response: requests.Response = requests.get(link)
        
        # Extract the status code and verify to be a 200
        if response.status_code != 200:
            raise ValueError(f'Failed to reach {link}')
        if response.status_code == 200:
            return response
        else:
            raise ConnectionError(f'Check the Connection')
    except ValueError as ve:
        print(ve)
    except ConnectionError as ce:
        print(ce)


#-------------------------------------------------------------------------------
def run():
    '''
    Summary
        Manages the app flow, checking first the connection, then parses home to 
        use it with Xpath and, finally, uses it to extract information
    '''

    # Catches the response
    response = get_conection(STOCKS_HOME)

    try:
        # Verifying status code
        if response.status_code == 200:
            parsed = parse_home(response)
            ticker_symbol_list = extract_ticker_symbol(parsed)
            print(ticker_symbol_list)
        else:
            print(f'Failed in stablish connection')
    except AttributeError as ae:
        print(f'Check URL format')


#-------------------------------------------------------------------------------
if __name__ == '__main__':
    run()

Cowessess Nuka

student•

this post is really very good thank you for sharing this information with us

Cowessess Nuka

student•

Thanks for the post and effort! vidmate download mobdro tv

Carlos Schmilinsky T

student•

chicos los invito a ver mi codigo en git hub, hice que se guardaran los datos en formato csv(pandas) para que se puediese guardar en una base de datos 😃

https://github.com/antoine1238/WS-News.git

Angello Villanueva Menichetti

student•

Uno de los mejores cursos que he tomado. Si hubiera comenzado con este cursos habría tenido las bases para los demás y no me habría quedado estancado. El profesor es de los mejores de Platzi! un Crack!

Carolina Acosta Muñoz

student•

Excelente profesor! ... ojalá nos siga compartiendo todo ese conocimiento aquí en Platzi <3 <3 <3

bryan Quispe Valeriano

student•

excelente curso, uno de los mejores de platzi

César Daniel Carrasco Gutiérrez

student•

Primero indico que el curso me ha sido de bastante ayuda ya que he aprendido las bases del scraping utilizando Xpath y Python.

Lamentablemente no he podido lograr que dentro de la carpeta que se crea con la fecha del día en que se ejecuta el programa quede algún tipo de archivo, genere los cambios correspondientes de donde debe sacar la información (ya que con el tiempo han modificado la pagina de La Republica.

Adjunto el código (aunque solo varia en las rutas de la pagina) para que alguien me apoye indicando cual es la razón que no quede un archivo.

import requests
import lxml.html as html
import os
import datetime

HOME_URL = 'https://www.larepublica.co/'

#XPATH_LINK_TO_ARTICLE = '//h2[@class="headline"]/a/@href'
XPATH_LINK_TO_ARTICLE = '//div[@class="news V_Title_Img"]/h2/a/@href'
#XPATH_TITLE = '//h1[@class="headline"]/a/text()'
XPATH_TITLE = '//div[@class="mb-auto"]/h2/span/text()'
#XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
PATH_SUMMARY = '//div[@class="lead"]/p/text()'
#XPATH_BODY = '//div[@class="articleWrapper  "]/p[not(@class)]/text()'
XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'


def parse_notice(link, today):
    try:
        response = requests.get(link)
        if response.status_code == 200:
            notice = response.content.decode('utf-8')
            parsed = html.fromstring(notice)

            try:
                title = parsed.xpath(XPATH_TITLE)[0]
                title = title.replace('\"', '')
                summary = parsed.xpath(XPATH_SUMMARY)[0]
                body = parsed.xpath(XPATH_BODY)
            except IndexError:
                return

            with open(f'{today}/{title}.txt', 'w', encoding='utf-8') as f:
                f.write(title)
                f.write('\n\n')
                f.write(summary)
                f.write('\n\n')
                for p in body:
                    f.write(p)
                    f.write('\n')
        else:
            raise ValueError(f'Error: {response.status_code}')
    except ValueError as ve:
        print(ve)

De ante mano muchas gracias.

Facundo Nicolás García Martoni

teacher•

¡Hola, compañero! No veo definida en ningún lado la variable "today", que estás usando dentro del with para crear los archivos 🤔

Sebastián Andrade

student•

Hola, les comprto a modo de aporte este script que me dice si mi colegio a subido nueva informacion o no hay nuevas circulares en la pagina, tambien dandome la opcion de ver las nuevas, aqui les dejo el repositorio, seria de mucha ayuda que lo vieran, me digan que tal esta y si pueden le regalen una estrella xdd

https://github.com/Sgewux/SchoolScraper/blob/master/main.py

pd: hago esto por la seccion de preguntas para que sea visto xd

Héctor Eduardo López Carballo

student•

Me da mucho gusto que hayas hecho este proyecto. No sé mucho de python, pero ya te puse una estrellita. 😅

Sebastián Andrade

student•

Muchas gracias Hector

Juan David Blanco Vergara

student•

tengo una pagina que por más que busque y meta codigo y cumpla con los parametros de scrapeo que uso en otras paginas, ésta no se deja scrapear y hago el awaitForSelector y luego type al id donde está el input para escribir y no hace nada y aparte se queda ahi hasta que la consola dice: TimeoutError: waiting for selector #rcp-zipcode-check failed: timeout 30000ms exceeded. He intentado de todo con este pagina y no se deja scrapear, saben algo que me puede ayudar?

Facundo Nicolás García Martoni

teacher•

¡Hola compañero! ¿Puedes compartir por favor una captura de pantalla de tu código, del error de la consola, y el link del repositorio del proyecto? Así podemos ayudarte con el código a la mano :D

Camilo Andrés Ceballos Ortiz

student•

Alto capo Facundo

Excelente curso

HECTOR BARRERA

student•

Que buen curso

Ignacio Sepulveda Muñoz

student•

Muchas gracias por el curso, muy recomendable!

import requests
import lxml.html as html
import os
from requests.models import Response

STOCKS_HOME = 'https://www.stockanalysis.com/stocks'
XPATH_TICKER = '//tbody//tr//td[1]/a/text()'
XPATH_COMPANY_NAME = '//tbody//tr//td[2]/text()'
XPATH_INDUSTRY = '//tbody//tr//td[3]/text()'


#-------------------------------------------------------------------------------
def extract_ticker_symbol(page_parsed: html) -> list:
    '''
    Summary:
        Function in charge of extract Ticker Symbol from the page
    Parameters:
        page_parsed -> A document with the capabiblity to be used with Xpath
    Returns:
        The list with the Ticker Symbols
    Warning:
        For now, it only extracts the first 500/6066 ticker symbols because i dont know how
        to navigate the web
    '''
    ticker_symbols_list = page_parsed.xpath(XPATH_TICKER)
    return ticker_symbols_list
    

#-------------------------------------------------------------------------------
def parse_home(link_response: Response) -> str:
    '''
    Summary:
        Function that parse HTML to a document tha can be used with Xpath
    Parameters:
        link_response -> Receives the response from the request to extract the html
                         to parse it and be a valid xpath docuement
    Reutrns:
        Returns the page parsed to use it with Xpath
    '''

    # home -> contains the html from the response
    home = link_response.content.decode('utf-8')

    # parsed -> transform the html to a special document where we can use Xpath
    parsed = html.fromstring(home)

    return parsed
    

#-------------------------------------------------------------------------------
def get_conection(link: str) -> int:
    '''
    Summary:
        Stablish conncetion to the page so it can start scrapin

    Parameters:
        link -> Receives the page link to scrap

    Returns:
        int -> Returns the status code number
    '''
    try:
        # Bring and save the response from Server
        response: requests.Response = requests.get(link)
        
        # Extract the status code and verify to be a 200
        if response.status_code != 200:
            raise ValueError(f'Failed to reach {link}')
        if response.status_code == 200:
            return response
        else:
            raise ConnectionError(f'Check the Connection')
    except ValueError as ve:
        print(ve)
    except ConnectionError as ce:
        print(ce)


#-------------------------------------------------------------------------------
def run():
    '''
    Summary
        Manages the app flow, checking first the connection, then parses home to 
        use it with Xpath and, finally, uses it to extract information
    '''

    # Catches the response
    response = get_conection(STOCKS_HOME)

    try:
        # Verifying status code
        if response.status_code == 200:
            parsed = parse_home(response)
            ticker_symbol_list = extract_ticker_symbol(parsed)
            print(ticker_symbol_list)
        else:
            print(f'Failed in stablish connection')
    except AttributeError as ae:
        print(f'Check URL format')


#-------------------------------------------------------------------------------
if __name__ == '__main__':
    run()

import requests
import lxml.html as html
import os
import datetime

HOME_URL = 'https://www.larepublica.co/'

#XPATH_LINK_TO_ARTICLE = '//h2[@class="headline"]/a/@href'
XPATH_LINK_TO_ARTICLE = '//div[@class="news V_Title_Img"]/h2/a/@href'
#XPATH_TITLE = '//h1[@class="headline"]/a/text()'
XPATH_TITLE = '//div[@class="mb-auto"]/h2/span/text()'
#XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
PATH_SUMMARY = '//div[@class="lead"]/p/text()'
#XPATH_BODY = '//div[@class="articleWrapper  "]/p[not(@class)]/text()'
XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'


def parse_notice(link, today):
    try:
        response = requests.get(link)
        if response.status_code == 200:
            notice = response.content.decode('utf-8')
            parsed = html.fromstring(notice)

            try:
                title = parsed.xpath(XPATH_TITLE)[0]
                title = title.replace('\"', '')
                summary = parsed.xpath(XPATH_SUMMARY)[0]
                body = parsed.xpath(XPATH_BODY)
            except IndexError:
                return

            with open(f'{today}/{title}.txt', 'w', encoding='utf-8') as f:
                f.write(title)
                f.write('\n\n')
                f.write(summary)
                f.write('\n\n')
                for p in body:
                    f.write(p)
                    f.write('\n')
        else:
            raise ValueError(f'Error: {response.status_code}')
    except ValueError as ve:
        print(ve)

Cómo continuar tu ruta de aprendizaje

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje