Wildcards en Xpath

Clase 12 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Carolina Acosta Muñoz

student•

Wilcards = comodines

Ejemplos

$x('/') <- Trae todo el documento porque representa la raíz de nuestro el html $x('/*') <- * después de / pide que traiga todos los nodos que están debajo de / (* es el primer wildcard) $x('/html/*') <- Trae todos los nodos que están inmediatamente después de html $x('//*') <- // es la expresión para saltar todos los niveles y con el * en todas las direcciones. Trae todos los nodos y todos los atributos de estos nodos. $x('//span[@class="text]/@*') <- Trae todos los span, que tengan como clase "text", con @* trae todos los atributos. Dicho de otra forma, trae todos los atributos de todos los nodos de tipo span de clase "text". $x('/html/body//div/@*') <- Todos los atributos (usando @*) de todos los div (usando //div) que están después de body $x('//span[@class="text" and @itemprop="text"]/node()') <- Trae todos los spam que sean de clase "text" que tengan un atributo @itemprop "text" y de ahí (usando node()) traer todo lo que esté dentro de los spam que cumplen las condiciones

node() a diferencia de * trae no solamente los nodos, sino también todo el contenido

Moisés Manuel Morín Hevia

student•

Justo el resumen exacto.

César Daniel Carrasco Gutiérrez

student•

Excelente resumen, muchas gracias :)

Alejandro Giraldo Londoño

student•

RESUMEN:Wildcards en Xpath

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

Son comodines que usamos cuando no tenemos claro lo que queremos extraer.

/* : Con asterisco le estoy diciendo que me traiga todos los nodos inmediatamente después de la expresión.
//* : En este caso le estoy diciendo que estoy saltando en todos los niveles en todas las direcciones.
@*: Traer todos los atributos de todos los nodos
/node() : Nos trae además de nodos el contenido, difiere de asterisco.

Ejemplo:

x('//span[@class="text" and @itemprop="text"]/node()').map(x => x.wholeText)


# Devuelve (10) ["“The world as we have created it is a process of o…cannot be changed without changing our thinking.”", "“It is our choices, Harry, that show what we truly are, far more than our abilities.”", "“There are only two ways to live your life. One is… The other is as though everything is a miracle.”", "“The person, be it gentleman or lady, who has not …ure in a good novel, must be intolerably stupid.”", "“Imperfection is beauty, madness is genius and it'…be absolutely ridiculous than absolutely boring.”", "“Try not to become a man of success. Rather become a man of value.”", "“It is better to be hated for what you are than to be loved for what you are not.”", "“I have not failed. I've just found 10,000 ways that won't work.”", "“A woman is like a tea bag; you never know how strong it is until it's in hot water.”", "“A day without sunshine is like, you know, night.”"]

Alan Vazquez

student•

Aqui si se queda muy corto CSS Selector ya que solo tiene el wildcard del *

# Selecciona todos los elementos hijos del html
$$('html > *')

# Selecciona todos los documentos
$$('*')

De los que me voy dado cuenta es que por si solo XPATH es mucho mas poderoso, pero con CSS ganas una sintanxis mucho mas corta y limpia, pero tienes que usar mas heramientas dadas por el lenguaje de programacion. Ya es cuestion de costumbres, pero aun asi le digo viendo mas ventajas a usar Selectores de CSS. O en su defecto puedes usar XPATH para estos tipos de casos particulares

Kenny Emmanuel Lajara Aquino

student•

Llevo media vida usando selectores CSS y solo puedo decir: Estoy enamorado de XPath.

Francisco Garcia [C6]

student•

gracias

Luis Rogelio Reyes Hernandez

student•

$x('/*') // trae todos los nodos que estan dentro del documento

$x('/html/*') // trae todos los nodos que estan inmediatamente despues del html

$x('//*') // trae todos los elementos que se encuentran en el documento

$x('//span[@class="text"]/@*') // trae todos los atributos de todos los span que tengan la clase texto

$x('/html/body//div/@*') // trae todos los atributos de todos los elementos div que estan dentro del body

$x('//span[@class="text" and @itemprop="text"]/*') // en este caso no trae nada ya que adentro solo hay texto plano no hay nodos

$x('//span[@class="text" and @itemprop="text"]/node()') // en todos los span que tengan como atributo class="text" and itemprop="text" trae todo el contenido esto es distinto a usar *, ya que aqui trae el contenido y texto plano de estos elementos a pesar que no estan dentro de un elemento html

Miguel Ángel Carrillo Hernández

student•

Esta genial la tabla que hiciste. El operador node() es muy poderoso.

Diego Jurado

student•

Que buen resumen!

Saúl Alejandro Tapia Loya

student•

Xpath realmente es a html lo que expresiones regulares son a texto, ya quiero verlo en acción en un proyecto.

Moisés Manuel Morín Hevia

student•

También yo, muychas cosas se pueden hacer.

Facundo Soto

student•

Porque la mayoría de los códigos no me funcionan?, o sea, algo tan básico como

$x('//span[@class="text"]/@*')

me arroja un array vacío

Fernando Campos

student•

Hola 👋🏼 ¿Estás trabajando en el mismo sitio web que el profe usa de ejemplo? tal vez la estructura del html es diferente, pero al menos un spam debería de haber. Es raro, lo que podrías hacer es explorar la estructura poco a poco, primero buscar el body y de ahí continuar para probar que todo funciona bien.🙂

Facundo Soto

student•

Sip, me di cuenta que era otra url JAJAJA, gracias por responder

Carlos Javier Guevara Contreras

student•

Super Productiva esta clase !!!

Moisés Manuel Morín Hevia

student•

Seeee, tantas cosas que se pueden hacer.

Santiago Martinez Pineda

student•

Por si alguien quiere revisar documentación, esta está muy buena para digerir y apoyarse.

Moisés Manuel Morín Hevia

student•

Es también muy extensa pero super útil.

Usuario anónimo

user•

Predicates Predicates are used to find a specific node or a node that contains a specific value.

Predicates are always embedded in square brackets.

In the table below we have listed some path expressions with predicates and the result of the expressions:

Path Expression Result /bookstore/book[1] Selects the first book element that is the child of the bookstore element. Note: In IE 5,6,7,8,9 first node is[0], but according to W3C, it is [1]. To solve this problem in IE, set the SelectionLanguage to XPath:

In JavaScript: xml.setProperty("SelectionLanguage","XPath"); /bookstore/book[last()] Selects the last book element that is the child of the bookstore element /bookstore/book[last()-1] Selects the last but one book element that is the child of the bookstore element /bookstore/book[position()<3] Selects the first two book elements that are children of the bookstore element //title[@lang] Selects all the title elements that have an attribute named lang //title[@lang='en'] Selects all the title elements that have a "lang" attribute with a value of "en" /bookstore/book[price>35.00] Selects all the book elements of the bookstore element that have a price element with a value greater than 35.00 /bookstore/book[price>35.00]/title Selects all the title elements of the book elements of the bookstore element that have a price element with a value greater than 35.00

Usuario anónimo

user•

XPath uses path expressions to select nodes or node-sets in an XML document. The node is selected by following a path or steps.

The XML Example Document We will use the following XML document in the examples below.

<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="en">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="en">Learning XML</title> <price>39.95</price> </book> </bookstore>

Andrés David Lizarazo Becerra

student•

/* : Con asterisco le estoy diciendo que me traiga todos los nodos inmediatamente después de la expresión. //* : En este caso le estoy diciendo que estoy saltando en todos los niveles en todas las direcciones. @*: Traer todos los atributos de todos los nodos /node() : Nos trae además de nodos el contenido, difiere de asterisco

Moisés Manuel Morín Hevia

student•

Buen resumen!

Dario Vergara

student•

¿Por qué motivo me figura error? ![](

Alex Camacho

teacher•

DIce tal cual el error que tienes un error de sintaxis porque falta un ) después del argumento. Checa bien el código que estas escribiendo y no dejes ninguna llave sin cerrar.

Julio César Zaravia Paredes

student•

Hola Ruben, de tu pregunta ya han pasado algunos meses y seguramente ya la has solucionado. Igual lo comento por si alguien se cruza con lo mismo.

El motivo del error es simple, si bien el texto del error indica que falta un ')', esto no es del todo cierto ya que si vemos la expresión, esta cuenta con todos su parentesis de apertura y cierre.

El problema es debido a que estás utilizando comillas dobles tanto para agrupar la expresión como para marcar el texto 'text' dentro de tu selección de clase.

En resumen, no debes (y no puedes) usar comillas dobles dentro de comillas dobles (lo mismo para las comillas simples).

Tu expresión está escrita así: x("//span[@class="text"]/@*") Debería estar escrita así: x("//span[@class='text']/@*")

Saludos!

Itzel Villeda Mejía

student•

Les comparto un cheatsheet que encontre de Xpath: https://devhints.io/xpath

Juan Carlos Ortiz Romero

student•

🤖🤖🤖Wildcards🤖🤖🤖 Son comodines que usamos cuando no tenemos claro lo que queremos extraer. /* : Con asterisco le estoy diciendo que me traiga todos los nodos inmediatamente después de la expresión. //* : En este caso le estoy diciendo que estoy saltando en todos los niveles en todas las direcciones. @*: Traer todos los atributos de todos los nodos /node() : Nos trae además de nodos el contenido, difiere de asterisco.

Vikas Sharma

student•

Como recomendación para futuros videos, procuren que el video tenga margen inferior suficiente para evitar que los controles del reproductor tapen la explicación.

Flavio Abat Carrola Reta

student•

Me gusta mucho como enseña Facundo, excelente, pero creo que para optimizar estaría bien limpiar la consola después de uno o dos comandos para tener mayor visibilidad como espectador.

Saludos!

Antonio Demarco Bonino

student•

Encantado de poder aprender más y más de esta herramienta.

Usuario anónimo

user•

Selecting Nodes XPath uses path expressions to select nodes in an XML document. The node is selected by following a path or steps. The most useful path expressions are listed below:

Expression Description nodename Selects all nodes with the name "nodename" / Selects from the root node // Selects nodes in the document from the current node that match the selection no matter where they are . Selects the current node .. Selects the parent of the current node @ Selects attributes

Herman Castillo R

student•

En caso que se quiera ser más especifico con la búsqueda se pueden usar predicados $x('//span[@class="text" and @itemprop="text"]/node()')[0]

Usuario anónimo

user•

Selecting Unknown Nodes XPath wildcards can be used to select unknown XML nodes.

Wildcard Description

Matches any element node @* Matches any attribute node node() Matches any node of any kind

x('//span[@class="text" and @itemprop="text"]/node()').map(x => x.wholeText)

# Devuelve (10) ["“The world as we have created it is a process of o…cannot be changed without changing our thinking.”", "“It is our choices, Harry, that show what we truly are, far more than our abilities.”", "“There are only two ways to live your life. One is… The other is as though everything is a miracle.”", "“The person, be it gentleman or lady, who has not …ure in a good novel, must be intolerably stupid.”", "“Imperfection is beauty, madness is genius and it'…be absolutely ridiculous than absolutely boring.”", "“Try not to become a man of success. Rather become a man of value.”", "“It is better to be hated for what you are than to be loved for what you are not.”", "“I have not failed. I've just found 10,000 ways that won't work.”", "“A woman is like a tea bag; you never know how strong it is until it's in hot water.”", "“A day without sunshine is like, you know, night.”"]

$x('/*') // trae todos los nodos que estan dentro del documento

$x('/html/*') // trae todos los nodos que estan inmediatamente despues del html

$x('//*') // trae todos los elementos que se encuentran en el documento

$x('//span[@class="text"]/@*') // trae todos los atributos de todos los span que tengan la clase texto

$x('/html/body//div/@*') // trae todos los atributos de todos los elementos div que estan dentro del body

$x('//span[@class="text" and @itemprop="text"]/*') // en este caso no trae nada ya que adentro solo hay texto plano no hay nodos

$x('//span[@class="text" and @itemprop="text"]/node()') // en todos los span que tengan como atributo class="text" and itemprop="text" trae todo el contenido esto es distinto a usar *, ya que aqui trae el contenido y texto plano de estos elementos a pesar que no estan dentro de un elemento html

Wildcards en Xpath

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje