Obteniendo los links de los artículos con Python

Clase 19 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Clase anteriorSiguiente clase

Esteban parra

student•

hey profe Facundo, sos lo maximo!, despues de maradona estas vos che! muy muy buena esta clase

Lucas Armijo Guzmán

student•

profe facundo lo mas grande papaa sajkads

Cesar Hernández Ramírez

student•

sdasdadasxasñjklh

Rubén Cuello

student•

Para los que no les esté funcionando el path, recuerden cambiar los "h2" por "text-fill". Ej de mi path:

XPATH_LINK_TO_ARTICLE = '//div[@class="news V_Title_Img" or @class="V_Title"]/text-fill/a/@href'```

No se muy bien porque con h2 no funciona.

Julian David Sanchez Rey

student•

crack

Aurelio ML

student•

Grande

R PMdo

student•

Marzo 2022 Para los que tengan problema para recibir los links, revisando veo que dice que Python no interpreta adecuadamente los h2, ocasionando que tu código Xpath en la consola sí te da resultados pero en el programa no, la solución es reemplazar los h2 por text-fil:

Este era mi código:

//h2[@class=""]/a/@href```

Y este es el código que sí me funcionó:

//text-fill[not(@class)]/a/@href

Daniel Bernal Ariza

student•

Grandee, gracias!! :D

Alberto Fleitas

student•

Excelente! No tendrás un link a la documentación de por qué sucede esto?

María José Medina

student•

Tengo un problemita con el scrapper y es que en la consola de Chrome el Xpath para los links me devuelve 84 urls (de los cuales 77 pertenecen a larepublica.co), y en el código solo me trae 15... Adjunto el código y el screenshot de la consola de Chrome por si me pueden ayudar.

Codigo:

import requests
import lxml.html as html # para aplicar Xpath a HTML

HOME_URL = 'https://www.larepublica.co/'


XPATH_LINK_TO_ARTICLE = '//h2/a/@href'
XPATH_TITLE = '//div[@class="row OpeningPostNormal"]//h2/a/text()'
XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'


def parse_home():
    try:
        response = requests.get(HOME_URL)
        
        if response.status_code == 200:
            home = response.content.decode('utf-8')
            parsed = html.fromstring(home)
    
            links_to_notices = parsed.xpath(XPATH_LINK_TO_ARTICLE)
            print(len(links_to_notices))
            print(links_to_notices)
            
        else:
            raise ValueError(f"Error: {response.status_code}")


    except ValueError as ve: 
        print(ve)

def main():
    parse_home()

if __name__ == '__main__':
    main()

Screenshot:

![](

Luis Angel Martinez Elizalde

student•

Yo usé el siguiente xpath:

//div[contains(@class, "V")]//h2[not(@class)]/a[contains(@class, "Sect")]/@href

Tengo un problema parecido: obtengo 6 elementos. Creo que es por el uso de contains()

Luis Angel Martinez Elizalde

student•

Creo que encontre el xpath correcto:

//div[contains(@class, "V")]/a[contains(@class, "kicker")]/@href

Alejandro Giraldo Londoño

student•

RESUMEN:Desarrollo proyecto

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

Obtener todos los links con python.

import requests
import lxml.html as html

# Creamos constantes

HOME_URL = 'https://www.larepublica.co/'

XPATH_LINK_TO_ARTICLE = '//div/h2[not(@class)]/a/@href'
XPATH_LINK_TO_TITLE = '//div[@class="mb-auto"]/h2/a/text()'
XPATH_LINK_TO_SUMMARY = '//div[@class="wrap-post col-9"]/div/div[@class="lead"]/p/text()'
XPATH_LINK_TO_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'

# Creamos las funcioens para ejecutar el script.

def parse_home():
    # Creamos un bloque try para manejar los errores. Y manejar los Status Code.
    try:
        response = requests.get(HOME_URL)
        # Aqui va la lógica para traer los links.
        if response.status_code == 200:
            # .content trae  el HTML que necesita ser traducido con un decode para que python lo entienda
            # en terminos de caracteres, me devuelve un string que noes más que el HTML crudo.
            home = response.content.decode('utf-8')

            # Tambien podemos usar el método text para parsear la respuesta a texto.
            # home = response.text
            # print(home)

            # En esta línea uso el parser para transformar el contentido
            # html a un archivo que sea de utilidad para las expresiones xpath
            parsed = html.fromstring(home)
            print(parsed)

            # En esta línea estoy usando el archivo parseado con la función xpath y le paso por parámetro mi constante
            # la cual almacena la expresión Xpath.

            links_to_notices = parsed.xpath(XPATH_LINK_TO_ARTICLE)
            
            # For debugg
            # print(len(links_to_notices))
            # print(type(links_to_notices))
            # print(links_to_notices)

        else:
            #Elevamos el error para ser capturado en el try-except, too lo que sea un error.
            raise ValueError(f'Error: {response.status_code}')
    except ValueError as ve:
        print(ve)

def run():
    parse_home()

if __name__ == '__main__':
    run()

Errores Asociados y comentarios:

1 ■ Primera recomendación es que uses el print statement para debuggear tus código línea por línea. Es una práctica que resulta muy útil.

2 ■ ¿Tienes una lista vacía?, ¿No te trae los links al ejecutar scraper.py, pero tu expresion Xpath retorna en la consola de Chrome lo que buscas?.

R: Cambia tu expresión Xpath. Es posible que varias cosas estén ocurriendo y una de las más probables es la expresión Xpath, recuerda que tienes muchas formas de llegar al mismo nodo.

Santiago Martinez Pineda

student•

Que alguien le diga a Fredy que Facundo dicte todos los cursos donde tenga que ver Python. No es crear rivalidades pero el mejor de todos en enseñar en Python. Grande Facundo.

Diego Jurado

student•

Si, los cursos de Facundo para python son muy buenos!

Arnau Izquierdo

student•

Si cuando importan los módulos les marca error, solo tienen que tener seleccionado el interprete correcto en Visual Studio Code.

Para cambiar el interprete accederemos con SHIFT + CONTROL + P y apuntaremos Select interpreter y seleccionaremos el entorno virtual correcto.

Antes deberán tener instalado los módulos como el profesor ha explicado. A mi me ha funcionado de esta manera, espero que les sea de ayuda. ^^

Axel Yaguana

Team Platzi•

Graaacias. He estado como 3 horas solo en esta clase tratando de solucionarlo. Este comentario me ayudó mucho. Mil gracias, Arnau.

Tomás Lautaro Elizondo

student•

Gracias !

Juan Eduardo Quintero Palacio

student•

No me aparecen las URL's de las noticias al ejecutar el código. El código que utilicé es el siguiente:

import requests
import lxml.html as html


HOME_URL = 'https://www.larepublica.co/'

XPATH_LINK_TO_ARTICLE = '//div[@class="V_Title" or @class="news V_Title_Img"]/h2/a/@href'
XPATH_TITTLE = '//h2[@style="font-size: 45px; line-height: 49px;" or @style="font-size: 44px; line-height: ' \
               '48px;"]/a/text() '
XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'
XPATH_AUTHOR = '//div[@class="autorArticle"]/p/text()'


def parse_home():
    try:
        response = requests.get(HOME_URL)
        if response.status_code == 200:
            home = response.content.decode('utf-8')
            parsed = html.fromstring(home)
            links_to_news = parsed.xpath(XPATH_LINK_TO_ARTICLE)
            print(links_to_news)
        else:
            raise ValueError(f'Error : {response.status_code}')
    except ValueError as ve:
        print(ve)


def run():
    parse_home()


if __name__ == '__main__':
    run()

Le he hecho print a response y es código 200, a home y sale el html completo, así como también le he hecho print a parsed así:

print(html.tostring(parsed))

Y me sale el html pero compacto, mi pensamiento es que al hacer "parsed.xpath(xpath)" falla algo, ya que en el navegador si me aparecen bastantes URL's con el xpath pero al ejecutar el código no aparece ninguna. He buscado en bastantes lugares intentando comprender pero nop :c

Juan Eduardo Quintero Palacio

student•

Update: Revisando un poco de documentación, foros y aportes de Platzi vi que la etiqueta "h2" no la procesa bien, entonces hay que sustituir "h2" por "text-fill" en el xpath y funciona correctamente. Un ejemplo es cambiar:

'//div[@class="V_Title" or @class="news V_Title_Img"]/h2/a/@href'

por

'//div[@class="V_Title" or @class="news V_Title_Img"]/text-fill/a/@href'

Curiosidad: Demoré hora y media intentando arreglarlo, me di una ducha para relajarme y a los 10 minutos encontré como arreglarlo, el consejo de irse a dormir, ducharse o directamente relajarse y volver a hacer code sirve bastante lol.

Carlos Daniel Dávila Maldonado

student•

Esto pasa cuando efectivamente el enlace existe pero no trae lo que estás buscando Te dejo mis xpath

XPATH_LINK_TO_ARTICLE = '//text-fill[not(@class)]/a/@href'
XPATH_LINK_TO_TITLE = '//div[@class="mb-auto"]/h2/a/text()'
XPATH_LINK_TO_SUMMARY = '//div[@class="wrap-post col-9"]/div/div[@class="lead"]/p/text()'
XPATH_LINK_TO_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'```

Dickson Garcia

student•

import requests
import lxml.html as html

HOME_URL = 'https://www.larepublica.co/'

XPATH_LINKS_TO_ARTICLE = '//text-fill[not(@class)]/a/@href'
XPATH_TITLE = '//div[@class="mb-auto"]/h2/a/text()'
XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
XPATH_BOBY = '//div[@class="html-content"]/p/text()'


def parse_home():
    try:
        response = requests.get(HOME_URL)
        if response.status_code == 200:
            home = response.content.decode('utf-8')
            parsed = html.fromstring(home)
            link_to_notices = parsed.xpath(XPATH_LINKS_TO_ARTICLE)
            print(link_to_notices)
        else:
            raise ValueError(f'Error: {response.status_code}')
    except ValueError as ve:
        print(ve)


def run():
    parse_home()


if __name__ == "__main__":
    run()```

Jaime Escobedo Vargas

student•

Hola, me podrías explicar como es que funciona el text-fill en lugar del h2?. Estuve buscando en internet y no he encontrado nada 🤔. Y estuve tratando varias rutas en Xpath pero tu código es el único que me trajo los resultados que me aparecen en la consola de Chrome.

Dickson Garcia

student•

Lo que sucede es que python no interpreta la etiqueta h2 y se cambia para que el xpath pueda ser interpretado. En este blog esta explicado. https://platzi.com/tutoriales/1908-web-scraping/7042-news-web-scraping-codigo-python/

Cristian Nicolás Pereira

student•

Nosé si será por gitbash, pero a la hora de importar los módulos me sale un error que no me los reconoce. Instalé los módulos en venv como nos enseñaron pero nosé a que se debe el error.

bryan Quispe Valeriano

student•

con una captura de pantalla del error seria mas facil ayudarte

Juan Ignacio Echenique Olsina

student•

Me pasaba exactamente lo mismo, ya pude resolverlo con el comando > py -m pip install requests Lo mismo tuve que hacer para lxml > py -m pip install lxml

Sebastián José Herrera Monterrosa

student•

Prueben con este XPATH para los links

XPATH_LINKS = '//a[contains(@class, "kicker")]/@href'

JUAN ANDRES VILLADA

student•

Muchas Gracias, con esa me funciono de pelo!

Lourdes Nuñez Burgos

student•

Muchas gracias este me funcionó en 2023.

Alvin Sulca Vega

student•

¿Por qué el xpath que uso en la consola de google chrome funciona, pero al momento de usarlo en mi script me retorna una lista vacía?

Jose Carlos Manjarres Pereira

student•

Hola Alvin, ya pudiste solucionar el inconveniente?. Me pasa igual.

Saludos,

Camilo Barreiro

student•

Hola alvin, no se como tengas el xpath de tu link de articulos, pero a mi me paso que en google me aparecia pero en python me retornaba una lista vacia y probe agregando textfill y me funciono en python

//div[@class="news V_Title_Img"]/text-fill[not(@class)]/a/@href

Angel Vega

student•

Me retorna un array vacío

Angel Vega

student•

Busqué varías soluciones y al parecer pueden ser mi links, pero son validos al filtarlo con xpath, alguna ayuda se agradece!!

Angel Vega

student•

Update: (Rebuen update)

Para alguien que no le sirva he igualmente, la consola le retorne vacía, quitar los h2 dejandolos con solo // soluciona el problema.

++Antes++ XPATH_LINK_TO_ARTICLE = '//text-fill[@data-h="19"]/a/@href' XPATH_TITLE = '//div[@class="row OpeningPostNormal"]//text-fill[@data-h="45"]/span/text()' XPATH_SUMMARY = '//div[@class="row article-wrapper"]//div[@class="lead"]/p/text()' XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'

++Después++ XPATH_LINK_TO_ARTICLE = '//a/@href' XPATH_TITLE = '//div[@class="row OpeningPostNormal"]//span/text()' XPATH_SUMMARY = '//div[@class="row article-wrapper"]//div[@class="lead"]/p/text()' XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'

Victor Baruch Pazaran Jaimes

student•

Un poco tarde, pero les explico un poco por que en nuestro scrapper recibimos menos links de los que hay en la pagina

Lo que pasa es que la pagina carga primero un contenido ligero (que es lo que recibe nuetstro scrapper) y despues de unos segundos carga todo lo demás gracias al codigo javascript que se ejecuta en el navegador, es por esto que aunque nosotros podamos ver los h2 en la pagina, nuestro scrapper no puede por que no está ejecutando el javascript que los genera

Victor Baruch Pazaran Jaimes

student•

Y es por eso que desde nuestro script tenemos que usar el "text-fill" en lugar de los h2, ya que los h2 son generados hasta despues

Carlos A. Sánchez

student•

El profe Facundo es EL MEJOR!!!!, sus cursos son los mejores explicados y entendibles!

María José Medina

student•

De todos los cursos de Platzi que he hecho por fin alguien que dice la importancia de escribir los códigos en inglés! Finally!! Esto es una buena práctica que veo que en muchos cursos tristemente no se sigue.

Juan Fernando Moyano Ramírez

student•

Hola a todos, yo tenia el problema de que no se adjuntaban los links a la lista links_to_notices, y la razon era un par de problemas con las expresiones de xpath, os adjunto la pregunta en el foro de esta clase que me ayudo a resolver mi problema.

https://platzi.com/comentario/2166481/

Hector Fabian Rodriguez Acosta

student•

el diario de la republica realizo cambios y para obtener la expresion necesitada para los links ahora es:

//a[@class="economiaSect" or @class="kicker globoeconomiaSect"]/@href

Mario Alberto Vásquez Arias

student•

Por que en la consola de google la expresión XPATH funciona pero al pasarlo a VS trae una lista vacía? Me toco cambiar la expresión pero no entiendo por que pasa eso

Camilo Gonzalez

student•

Hola Mario a mi me pasa lo mismo, se me ocurre que se ha modificado la página de noticias y ahora está hecha con VUE, por eso no devuelve nada. Creo que es por eso

Moisés Manuel Morín Hevia

student•

Maybe al pasarlo a python omitiste algo.

Fernando Pullutasig

student•

¿A alguien más le pasó qué le devuelve una lista vacía?

Este es el código que estoy utilizando:

XPATH_LINK_TO_ARTICLE='//h2[@style and not(@class)]/a/@href'

def parse_home():
  try:
    response=requests.get(HOME_URL)
    if response.status_code==200:
      home=response.content.decode('utf-8')
      parsed=html.fromstring(home)
      links_to_notices=parsed.xpath(XPATH_LINK_TO_ARTICLE)
      print(links_to_notices)

    else: 
      raise ValueError(f'Error: {response.status_code}')
 
  except ValueError as ve:
    print(ve)


def run():
  parse_home()

Rodrigo Rodriguez

student•

Si, me esta pasando en este momento a pesar que tengo el xpath correcto para los links, probados en el navegador, pero no trae en python

Fernando Pullutasig

student•

El problema fue por la expresion XPATH, en mi caso funciono teniendolas así:

HOME_URL='https://www.larepublica.co/'
XPATH_LINK_TO_ARTICLE='//h2[not(@class)]/a/@href'
XPATH_TITLE='//div[@class="mb-auto"]/text-fill/a[@class]/text()'
XPATH_SUMMARY='//div[@class="lead"]/p/text()'
XPATH_BODY='//div[@class="html-content"]/p[not(@class)]/text()'

import requests
import lxml.html as html # para aplicar Xpath a HTML

HOME_URL = 'https://www.larepublica.co/'


XPATH_LINK_TO_ARTICLE = '//h2/a/@href'
XPATH_TITLE = '//div[@class="row OpeningPostNormal"]//h2/a/text()'
XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'


def parse_home():
    try:
        response = requests.get(HOME_URL)
        
        if response.status_code == 200:
            home = response.content.decode('utf-8')
            parsed = html.fromstring(home)
    
            links_to_notices = parsed.xpath(XPATH_LINK_TO_ARTICLE)
            print(len(links_to_notices))
            print(links_to_notices)
            
        else:
            raise ValueError(f"Error: {response.status_code}")


    except ValueError as ve: 
        print(ve)

def main():
    parse_home()

if __name__ == '__main__':
    main()

import requests
import lxml.html as html

# Creamos constantes

HOME_URL = 'https://www.larepublica.co/'

XPATH_LINK_TO_ARTICLE = '//div/h2[not(@class)]/a/@href'
XPATH_LINK_TO_TITLE = '//div[@class="mb-auto"]/h2/a/text()'
XPATH_LINK_TO_SUMMARY = '//div[@class="wrap-post col-9"]/div/div[@class="lead"]/p/text()'
XPATH_LINK_TO_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'

# Creamos las funcioens para ejecutar el script.

def parse_home():
    # Creamos un bloque try para manejar los errores. Y manejar los Status Code.
    try:
        response = requests.get(HOME_URL)
        # Aqui va la lógica para traer los links.
        if response.status_code == 200:
            # .content trae  el HTML que necesita ser traducido con un decode para que python lo entienda
            # en terminos de caracteres, me devuelve un string que noes más que el HTML crudo.
            home = response.content.decode('utf-8')

            # Tambien podemos usar el método text para parsear la respuesta a texto.
            # home = response.text
            # print(home)

            # En esta línea uso el parser para transformar el contentido
            # html a un archivo que sea de utilidad para las expresiones xpath
            parsed = html.fromstring(home)
            print(parsed)

            # En esta línea estoy usando el archivo parseado con la función xpath y le paso por parámetro mi constante
            # la cual almacena la expresión Xpath.

            links_to_notices = parsed.xpath(XPATH_LINK_TO_ARTICLE)
            
            # For debugg
            # print(len(links_to_notices))
            # print(type(links_to_notices))
            # print(links_to_notices)

        else:
            #Elevamos el error para ser capturado en el try-except, too lo que sea un error.
            raise ValueError(f'Error: {response.status_code}')
    except ValueError as ve:
        print(ve)

def run():
    parse_home()

if __name__ == '__main__':
    run()

import requests
import lxml.html as html


HOME_URL = 'https://www.larepublica.co/'

XPATH_LINK_TO_ARTICLE = '//div[@class="V_Title" or @class="news V_Title_Img"]/h2/a/@href'
XPATH_TITTLE = '//h2[@style="font-size: 45px; line-height: 49px;" or @style="font-size: 44px; line-height: ' \
               '48px;"]/a/text() '
XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
XPATH_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'
XPATH_AUTHOR = '//div[@class="autorArticle"]/p/text()'


def parse_home():
    try:
        response = requests.get(HOME_URL)
        if response.status_code == 200:
            home = response.content.decode('utf-8')
            parsed = html.fromstring(home)
            links_to_news = parsed.xpath(XPATH_LINK_TO_ARTICLE)
            print(links_to_news)
        else:
            raise ValueError(f'Error : {response.status_code}')
    except ValueError as ve:
        print(ve)


def run():
    parse_home()


if __name__ == '__main__':
    run()

XPATH_LINK_TO_ARTICLE = '//text-fill[not(@class)]/a/@href'
XPATH_LINK_TO_TITLE = '//div[@class="mb-auto"]/h2/a/text()'
XPATH_LINK_TO_SUMMARY = '//div[@class="wrap-post col-9"]/div/div[@class="lead"]/p/text()'
XPATH_LINK_TO_BODY = '//div[@class="html-content"]/p[not(@class)]/text()'```

import requests
import lxml.html as html

HOME_URL = 'https://www.larepublica.co/'

XPATH_LINKS_TO_ARTICLE = '//text-fill[not(@class)]/a/@href'
XPATH_TITLE = '//div[@class="mb-auto"]/h2/a/text()'
XPATH_SUMMARY = '//div[@class="lead"]/p/text()'
XPATH_BOBY = '//div[@class="html-content"]/p/text()'


def parse_home():
    try:
        response = requests.get(HOME_URL)
        if response.status_code == 200:
            home = response.content.decode('utf-8')
            parsed = html.fromstring(home)
            link_to_notices = parsed.xpath(XPATH_LINKS_TO_ARTICLE)
            print(link_to_notices)
        else:
            raise ValueError(f'Error: {response.status_code}')
    except ValueError as ve:
        print(ve)


def run():
    parse_home()


if __name__ == "__main__":
    run()```

XPATH_LINK_TO_ARTICLE='//h2[@style and not(@class)]/a/@href'

def parse_home():
  try:
    response=requests.get(HOME_URL)
    if response.status_code==200:
      home=response.content.decode('utf-8')
      parsed=html.fromstring(home)
      links_to_notices=parsed.xpath(XPATH_LINK_TO_ARTICLE)
      print(links_to_notices)

    else: 
      raise ValueError(f'Error: {response.status_code}')
 
  except ValueError as ve:
    print(ve)


def run():
  parse_home()

HOME_URL='https://www.larepublica.co/'
XPATH_LINK_TO_ARTICLE='//h2[not(@class)]/a/@href'
XPATH_TITLE='//div[@class="mb-auto"]/text-fill/a[@class]/text()'
XPATH_SUMMARY='//div[@class="lead"]/p/text()'
XPATH_BODY='//div[@class="html-content"]/p[not(@class)]/text()'

Obteniendo los links de los artículos con Python

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje