Aplicando lo aprendido

Clase 16 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Oscar Castillo

student•

Una opción que descubrí mientras hacía debuging de la expresión Xpath para el Stock Availability, fue copiar la ruta Xpath directamente desde el código HTML en Google Chrome, de la siguiente manera:

Con la flecha del inspector de elementos, selecciona el punto al que te gustaría hacerle scrapping. Ello te llevará al punto en el código HTML para que investigues su ruta.
Al hacer click derecho sobre esa porción de código HTML, selecciona Copy y luego Copy Xpath .
.
Luego copialo en la cónsola y sólo tendrías que adaptarle el formato para que lo obtengas como deseas.

IMPORTANTE: Al usar este método puedes perder legibilidad del código, lo que podría dificultar la colaboración de otro compañero y/o dificultar que puedas mantener el código tiempo después. Por lo que lo vería más como un complemento que como una solución definitiva para Xpath.

Kenny Emmanuel Lajara Aquino

student•

**Otra nota importante: ** Usa esto si tienes que entregar un proyecto en tiempo record, pero si lo que buscas es aprender y/o escribir código de alta calidad, continúa escribiéndolo a mano.

Francisco Garcia [C6]

student•

Que buen tip

Angel Francisco Flores Ayala

student•

No existe una única forma de resolver el reto, y de hecho puede reducirse muchisimo el tamaño de la expresión si identificamos lo indispensable, tal como en el caso del stock en el siguiente ejemplo:

//Description
$x('//article[@class="product_page"]/p/text()').map(x=>x.wholeText)

//Stock available
$x('//article[@class="product_page"]/div[@class="row"]/div[@class="col-sm-6 product_main"]/p[@class="instock availability"]/text()[2]').map(x=>x.wholeText)
$x('//p[@class="instock availability"]/text()[2]').map(x=>x.wholeText)```

Bryan David Rosas Rojas

student•

De acuerdo, existen muchas formas de hacerlo, comparto el que yo realicé que requiere de menor cantidad de predicados [@class]: $x(’//table[@class=“table table-striped”]/tbody/tr/td[starts-with(.,“In”)]/text()’).map(x => x.wholeText)

David Antonio Valverde Figueroa

student•

Para la descripción, al poner un [0] al final del código, se puede observar la descripción completa.

Alejandro Giraldo Londoño

student•

RESUMEN :

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

Realizar expresiones Xpath para:

Descripción:

$x('//article/p/text()').map(x => x.wholeText)
["It's hard to imagine a world without A Light in th…for you. Shel, you never sounded so good. ...more"]

Stock

$x('//article[@class="product_page"]//p[@class="instock availability"]/text()').map(x=>x.wholeText)

Precio

$x('//article[@class="product_pod"]/div[@class="product_price"]/p[@class="price_color"]/text()').map(x=>x.wholeText)
#Devuelve: (20) ["£51.77", "£53.74", "£50.10", "£47.82", "£54.23", "£22.65", "£33.34", "£17.93", "£22.60", "£52.15", "£13.99", "£20.66", "£17.46", "£52.29", "£35.02", "£57.25", "£23.88", "£37.59", "£51.33", "£45.17"]

Barra lateral izquierda categorías :

$x('//div[@class="side_categories"]//a[@href]/text()').map(x=>x.wholeText)

Luis Rogelio Reyes Hernandez

student•

// ejemplos de https://books.toscrape.com/index.html

$x('//article[@class="product_pod"]/h3/a/@title') // trayendo todos los titulos de los libros

$x('//article[@class="product_pod"]/h3/a/@title').map(x => x.value)

$x('//article[@class="product_pod"]/div[@class="product_price"]/p[@class="price_color"]/text()') // tdoos los precios de los libros

$x('//article[@class="product_pod"]/div[@class="product_price"]/p[@class="price_color"]/text()').map(x => x.wholeText)

$x('//div[@class="side_categories"]/ul[@class="nav nav-list"]/li/ul/li/a/text()') // todas las categorias de libros

$x('//div[@class="side_categories"]/ul[@class="nav nav-list"]/li/ul/li/a/text()').map(x => x.wholeText.trim())

// RETO

/*
Extraer descripcion de libros

https://books.toscrape.com/catalogue/sapiens-a-brief-history-of-humankind_996/index.html
*/
$x('//article[@class="product_page"]/p[position()=1]/text()')

$x('//article[@class="product_page"]/p[position()=1]/text()')[0].wholeText


/*
Extraer stock de libros
*/

$x('//table[@class="table table-striped"]/tbody/tr/td/.')[5]

$x('//table[@class="table table-striped"]/tbody/tr[6]/td/text()')[0].wholeText

Italo Buitron

student•

el .trim me salvó la vida, muchas gracias! (de donde sacaste ese comando?)

Natalia Caro Barrios

student•

Para obtener las categorías de libros limpias podemos usar una expresión regular.

$x('//div[@class="side_categories"]/ul[@class="nav nav-list"]/li/ul/li/a/text()').map(i => i.data.replace(/[_\W]+/g, ""))

Alfonso Morán

student•

Me surge la duda de ¿cómo saber a partir de dónde empezar? veo que se puede emepzar desde el div, o del article, o desde p.

Diego Forero

Team Platzi•

Debes analizar la estructura del sitio web al cual le quieres hacer scraping, dependiendo de su estructura html tu decides de donde iniciar.

Jaime Andres Valencia Gaviria

student•

eso es gusto de quien hace el trabajo , pero tambien es buena idea iniciar de tal forma que quede una estructura logica del html

César Ernesto Rivas Martínez

student•

Descripcion

$x('//article[@class="product_page"]/p/text()').map(x => x.wholeText)

Stock

$x('//article[@class="product_page"]/div[@class="row"]/div[@class="col-sm-6 product_main"]/p[@class="instock availability"]/text()').map(x => x.wholeText.trim())

Ronny Roel Polloqueri Anco

company_admin•

En el último ejercicio se puede usar $x('//div[@class="side_categories"]/ul[@class="nav nav-list"]/li/ul/li/a/text()').map(x => x.wholeText.trim()) para tener los textos sin espacios innecesarios.

David Esteban Solorzano Taborda

student•

Exacto, es lo mismo que el menciona que es la funcion strip en python, son lo mismo

Fernando Callasaca Acuña

student•

Estos fueron mis resultados les comparto por si alguien quiere comprar o si talvez lo hicieron de una manera distinta.

Stock Available:

$x('//article[@class = "product_page"]/div[@class = "row"]/div[@class = "col-sm-6 product_main"]/p[@class = "instock availability"]/text()[last()]').map(x => x.wholeText.trim())

Product Description

$x('//article[@class = "product_page"]/p/text()').map(x => x.wholeText)

Matias Nieto

student•

Como me salio a mi

Para retornar el stock
$x('//p[@class="instock availability"]/text()').map(x => x.wholeText)

Para traer la descripcion

$x('//article[@class="product_page"]/p/text()').map(x => x.wholeText)```

Luis Angel Martinez Elizalde

student•

¿Por qué se hacen los xpath tan largos? Supongo que es para reducir el espacio donde se busca pero aún así creo que se pueden hacer más cortos.

Luis Lira

student•

Es debido a que el XPath se construye por como está creado todo el DOM, es decir el árbol de elementos y si estos no tiene algún ID específico, te dará toda la ruta desde el elemento más antiguo hasta llegar al que deseas.

Salvador Cardona Noriega

student•

Simplemente para ser específicos y evitar errores. Pero es verdad, puedes reducir la expresión si estás seguro de lo que buscas.

Steve Gutierrez

student•

Pregunta porque motivo me sale la siguiente situación:

$x('//div[@class("side_categories")]/ul[@class="nav nav-list"]/li/ul/li/a/text()').map(x => x.wholeText) Uncaught DOMException: An exception was thrown

Francisco Javier Cárdenas Ibarra

student•

Hola, he visto lo que has escrito, tu problema es que en el atributo class lo pusiste entre paréntesis como si fuera una función y recuerda que debes igualarlo con el valor entonces quedaría

//div[@class="side_categories

Saludos,

Jesus Eduardo Murrieta Rosas

student•

¿Y cuando son paginas dinamicas o single pages webs, osea cuando se ocupe dar un click para cargar información y la url no cambia? ¿Cómo se hace?

Héctor Eduardo López Carballo

student•

Requieres un framework que simule la interacción con clicks sobre una web, me parece que Scrappy lo hace. Acá te dejo el curso: Curso de Scrapy

Daniel Tibavisco

student•

Si quiero extraer los títulos de los libros no solo de la primera página, sino el total de libros como se realizaría ? ya que son 1000 libros distribuidos en 20 pag

Thomas Gonzalez Rodrigues

student•

diría que ya en python con un ciclo for que vaya pagina por pagina

Orlando Ramirez

student•

Me gustaría agregar que en el primer ejemplo cuando el toma el título del libro, lo hace con el atributo value, esto lo hace porque lo esta tomando directamente de el atributo title="título".
En el segundo caso, como lo toma directamente del texto que está dentro de p, se usa text()

Joaquin Villamediana

student•

Algo interesante que acabo de notar realizando el reto es que si un elemento tiene 2 clases, como por ejemplo "col-sm-6 product_main". Es necesario que al extraerlo con Xpath incluyas ambas clases. Con los css selector se puede tomar por solo una de ellas pero en Xpath no.

Osvaldo Hinojosa

student•

Es correcto, una funcion que puedes utilizar para evitar escribir las dos clases es "contains"

//div[contains(@class, "product_main")]

Rodrigo Rodriguez

student•

Hola a todos, estoy en esta pagina

https://books.toscrape.com/catalogue/tipping-the-velvet_999/index.html ( va http antes)

quiero seleccionar el primer div del body , el cual su etiqueta es

esto esta en html/body me pregunto porque no puedo obtener ese nodo (el primer div) haciendo referencia al contenido de su atributo class, por ejemplo asi :

$x('/html/body/div[@class="container-fluid"]'),

si hago esto no devuelve nada,

Acaso no deberia poder obtener el nodo asi ?? en algo debo estar equivocado porque no lo obtengo.

Gracias a todos por su ayuda.

Angel Ivan Carrillo de Leon

student•

Es porque tiene 2 clases y lo que estas haciendo es buscando un div con una sola clase lo que tienes que pones es esto

$x('/html/body/div[@class="container-fluid page"]')

O tambien podrías poner

$x('/html/body/div[contains(@class, "container-fluid")]')

Me gusta más la sintaxis

$x('//div[contains(@class, "container-fluid")]')<code>

Espero que te ayude.

Saludos

Rodrigo Rodriguez

student•

Gracias angel ivan por tu ayuda, me gusto la idea de //div[contains(@class , "container-fluid")], de hecho ahora si pude obtener lo que buscaba. Abrazo!

Roger Natividad Pantoja

student•

Para que le salga sin espacion con JS es asi.

$x('//div[@class="side_categories"]/ul/li/ul/li/a/text()').map(x => x.wholeText.trim())

Javier Amaya Patricio

student•

Challenges XPath 🕵️

Extract the description of a book 📑

$x('//article[@class="product_page"]/p/text()').map(x => x.wholeText)

"WICKED above her hipbone, GIRL across her heart Words are like a road map ..."

Extract stock from a book 📑

$x('//div[@class="col-sm-6 product_main"]/p[@class="instock availability"]/text()[2]').map(x => x.wholeText)

Result= ['\n \n In stock (20 available)\n \n']

Ayxa Chaverra

student•

Yo lo hice de la siguiente forma:

$x('//p[@class="instock availability" and contains(., "stock")] | //div[@id="product_description"]/following-sibling::p').map(x=>x.innerText)

Y obtuve un array con los dos datos:

Array [ " In stock (22 available)", "It's hard to imagine a world without A Light in the Attic. This now-classic collection of poetry and drawings from Shel Silverstein celebrates its 20th anniversary with this special edition. Silverstein's humorous and creative verse can amuse the dowdiest of readers. Lemon-faced adults and fidgety kids sit still and read these rhythmic words and laugh and smile and love th It's hard to imagine a world without A Light in the Attic. This now-classic collection of poetry and drawings from Shel Silverstein celebrates its 20th anniversary with this special edition. Silverstein's humorous and creative verse can amuse the dowdiest of readers. Lemon-faced adults and fidgety kids sit still and read these rhythmic words and laugh and smile and love that Silverstein. Need proof of his genius? RockabyeRockabye baby, in the treetopDon't you know a treetopIs no safe place to rock?And who put you up there,And your cradle, too?Baby, I think someone down here'sGot it in for you. Shel, you never sounded so good. ...more" ]

Por cierto, en este caso aproveché el atributo de innerText de los nodos del DOM para obtener la información en un formato más cercano al que se visualiza en la pantalla.