Operadores en Xpath

Clase 11 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Clase anteriorSiguiente clase

Alejandro Giraldo Londoño

student•

RESUMEN:Operadores en Xpath

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

Hay una forma de filtrar más avanzada y es con operadores lógicos.

Operadores lógicos en Xpath : Cabe notar que los operadores se están usando dentro del predicado.

Ejemplo:

#Usando el operador != diferente, le estoy diciendo que me
traiga todos los nodos span que tienen clase diferente a Texto.

$x('//span[@class!="text"]')

# Usando operador not me devuelve todos los nodos que no tienen
el atributo class.

$x('//span[not(@class)]'

Moisés Manuel Morín Hevia

student•

Buen resumen.

César Daniel Carrasco Gutiérrez

student•

Excelente resumen, muchas gracias.

Alan Vazquez

student•

XPATH	CSS Selector
!=	:not(attr = value)
position()
attr1 AND attr2	[attr1][attr2]
selector[attr1 OR attr2]	selector1, selector2
NOT()	:not(attr or selector)

# span con clase diferente de text
$$('span[class]:not(.text)')

# span de clase text y atributo itemprop
$$('span.text[itemprop]')

# span con clase text o tag-item
$$('span.text, span.tag-item')

# span que no tienen atributo de clase
$$('span:not([class])')

*Css no tiene un forma nativa de usar el position de xpath, pero se pueden herramientas del lenguaje de programacion, como los slices de python

Moisés Manuel Morín Hevia

student•

Teoría & practica !

Luis Rogelio Reyes Hernandez

student•

$x('//span[@class!="text"]') // todos los span que tenga una clase distinta de "text"

$x('/html/body/div/div[position()=1]') // trae los elementos en la posicion 1

$x('/html/body/div/div[position()>1]') // trae todos los elementos que se encuentran despues de la posicion 1

$x('//span[@class="text" and @class="tag-item"]') // trae los elementos que tengan como clase a "text" Y a "tag-item"

$x('//span[@class="text" or @class="tag-item"]') // trae los elementos que tengan como clase a "text" O a "tag-item"

$x('//span[not(@class)]') // trae todos los span que NO tengan una clase

David Esteban Solorzano Taborda

student•

Hay un div en el html el cual tiene ambas clases (row y header-box), pero no me funciona de esta forma, no deberia servir?

$x('//div[@class="row" and @class="header-box"]')

Me funciona si lo hago de esta forma solo si estan en este orden inclusive

$x('//div[@class="row header-box"]')```

Kenny Emmanuel Lajara Aquino

student•

Esto sucede porque la @class="row" significa "que la clase se exactamente igual a row" y @class="header-box" significa "que la clase sea exactamente igual a header-row". . Como row header-box no exa exactamente igual a row ni exactamente igual a header-box (ni mucho menos igual a los dos al mismo tiempo), no lo puede extraer. . Para extraerlo correctamente hay que usar una función que todavía no han explicado llamada contains(). La solución a lo que buscas quedaría así:

$x('//div[contains(@class, "row") and contains(@class, "header-box")]')

David Esteban Solorzano Taborda

student•

Gracias por la respuesta, si inclusive en otro curso mas adelante lo entendi, pense que se hacia sin importar si era exactamente igual

Oscar Castillo

student•

¿Alguien sabe por qué en este caso las posiciones arrancan en 1 y no en 0?, siendo que está escribiendo en JS.

Juan Castro

teacher•

Según https://www.w3schools.com/xml/xpath_syntax.asp:

[1] selects the first element. Note: In IE 5,6,7,8,9 first node is[0], but according to W3C, it is [1].

Geovany Uribe Aguirre

student•

No está escribiendo en Java Script, está escribiendo en XML

Carlos Vallejo

student•

Quería practicar un poco. Mi objetivo fue obtener el primer tag de cada quote. Les comparto mi código:

$x('/html/body/div/div[@class="row"]/div[1]/div[@class="quote"]/div[@class="tags"]/a[@class="tag"][1]/text()').map(item => item.wholeText)

Kenny Emmanuel Lajara Aquino

student•

Muy buen ejercicio. Yo encontré una expresión más corta para hacer lo mismo. La dejo por aquí:

$x('//a[@class="tag"]/../a[1]/text()').map(x => x.wholeText)

La explicación ens la siguiente: Ve a todas las etiquetas a que tengan clase tag y busca a su padre. Luego, selecciona solo la primera etiqueta a y extrae su texto.

Omar Guadarrama

student•

Tienes razón aunque la otra expresión también te trae el Top 10 de etiquetas usadas.

Juan David Suarez

student•

$x('//div[@class="quote"][1]/span[@class="text"]/text()').map(x => x.wholeText)
# Traer la primera Quote de toda la página

//div[@class="tags"]/a[position()<=3]/text()
# Top 3 de Tags por Quotes

Carolina Acosta Muñoz

student•

Lista de operadores y su descripción

Moisés Manuel Morín Hevia

student•

Gracias pero no veo la imagen.

Carolina Acosta Muñoz

student•

😱😱😱

Carlos Javier Guevara Contreras

student•

Interesante

Moisés Manuel Morín Hevia

student•

Super interesante.

Nicoll Idaly Angulo Mejia

student•

Existe una forma de decirle que contenga tal valor?

por ejemplo si tengo la etiqueta

<h2>Quotes</h2>

decirle si la etiqueta comienza en Quo o termina en tes?

Johannes Alberto Talero Mesa

student•

Seguro ya lo solucionaste, pero en todo caso lo comento. Esto lo explican en la clase de In-text search. Donde se presentan expresiones como:

contains() start-with() end-with(.,"") matches(.,"")

Las ultimas dos no correrán en chrome pero si en Python.

Angel Ivan Carrillo de Leon

student•

Yo lo hice de la siguiente forma

$x('//*[contains(text(), "This")]')

El contains es case sensitive, si no estas seguro de cual es mayuscula o minuscula puedes usar

$x('//*[contains(translate(text(),"ABCDEFGHIJKLMNOPURSTUWXYZ","abcdefghijklmnopurstuwxyz"), "this")]')

Humberto Diaz Grieve

student•

Para llamar cierta cantidad de elementos, se usa position() $x('//div[@class="quote" or position()=2]') En este ejemplo, llamamos a los divs que tengan la class quote o que estén en la posición dos (la cual es relativa a su nodo padre.)

César Espinoza García

student•

Siempre me he preguntado por qué una plataforma como Platzi no puede hasta la fecha darse cuenta que la barra siempre presente de 'play', 'pause', etc. disminuye la calidad de experiencia en los usuarios. Es un problema que lo he visto y vivido desde que entré a la plataforma y que muchas otras personas también lo han padecido; sin embargo, a la fecha el inconveniente persiste.

Carlos Jiménez

student•

A page or script is accessing at least one of navigator.userAgent, navigator.appVersion, and navigator.platform. Starting in Chrome 101, the amount of information available in the User Agent string will be reduced. To fix this issue, replace the usage of navigator.userAgent, navigator.appVersion, and navigator.platform with feature detection, progressive enhancement, or migrate to navigator.userAgentData.

Sara María Mejia Sánchez

student•

Excelente clase, definiticamente XPath es un gran aliado para el Web Scraping.

Les comparto los Operadores vistos en clase:

$x('//span[@class!="text"]/text()')
$x('//span[@class!="text"]/text()').map(x => x.wholeText)
Todos los span que tienen una clase distinta a texto.

$x('/html/body/div/div[position()>1]')
Trae los elementos de una posicion hacia arriba.

$x('//span[@class="text" or @class="tag-item"]')
Trae todos los span que tengan como clase a text o que tengan como clase tag-item.

$x('//span[@class="text" and @class="tag-item"]')
Trae todos los span que tengan como clase a text y que tengan como clase tag-item.

$x('//span[not(@class)]')
Trae todos los span que no tengan un atributo de tipo class.

Jeinfferson Bernal G

student•

Operadores en XPath

! = : indica que debe ser distinto

$x('//span[@class!="text"]')
--> (11) [span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.sh-red]
# 11 nodos span que tiene clase de tipo tag-item y no de tipo texto

< : permite obtener las etiquetas segun sea mayor o menor a un determinado valor

$x('/html/body/div/div[position()>1]')
--> [div.row]
#obtiene las etiquetas que estan despues de la primera.

and : indica que trae las etiquetas que cumplen dos condiciones a la vez

$x('//span[@class="text" and @class="tag-item"]')
#obtiene los nodos con clases de tipo text y tag-item

or : trae los nodos que cumplan con alguna de dos condiciones

$x('//span[@class="text" or @class="tag-item"]')
--> (20) [span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item]
#obtiene los nodos que tengan clases de tipo text o de tipo tag-item

not : trae los nodos que no cumplen una condicion

$x('//span[not(@class)]')
--> (11) [span, span, span, span, span, span, span, span, span, span, span]
#trae los nodos que no tienen atributos de tipo clase

Antonio Demarco Bonino

student•

Otra clase rompe cabezas que te hace salir de tu zona de confort y saber más del tema. Una maquina de incorporar nuevo conocimiento.

Jesús Zelaya Contreras

student•

Código para traer los 3 elementos del top ten de tags:

$x('//span[@class="tag-item"][position()<4]/a/text()').map(x => x.wholeText)

Juan Carlos Ortiz Romero

student•

$x('/html/body/div/div[@class="row"]/div[1]/div[@class="quote"]/div[@class="tags"]/a[@class="tag"][1]/text()').map(item => item.wholeText)

Juan Carlos Ortiz Romero

student•

🤖🤖🤖 Operadores lógicos en Xpath : Cabe notar que los operadores se están usando dentro del predicado. != <> and or not

César Isaac González Naranjo

student•

Para traer a todos los autores de las citas

$x('//span/small[@class = "author"]/text()').map(x =>x.wholeText)

#Usando el operador != diferente, le estoy diciendo que me
traiga todos los nodos span que tienen clase diferente a Texto.

$x('//span[@class!="text"]')

# Usando operador not me devuelve todos los nodos que no tienen
el atributo class.

$x('//span[not(@class)]'

XPATH

CSS Selector

:not(attr = value)

position()

attr1 AND attr2

[attr1][attr2]

selector[attr1 OR attr2]

selector1, selector2

NOT()

:not(attr or selector)

# span con clase diferente de text
$$('span[class]:not(.text)')

# span de clase text y atributo itemprop
$$('span.text[itemprop]')

# span con clase text o tag-item
$$('span.text, span.tag-item')

# span que no tienen atributo de clase
$$('span:not([class])')

$x('//span[@class!="text"]') // todos los span que tenga una clase distinta de "text"

$x('/html/body/div/div[position()=1]') // trae los elementos en la posicion 1

$x('/html/body/div/div[position()>1]') // trae todos los elementos que se encuentran despues de la posicion 1

$x('//span[@class="text" and @class="tag-item"]') // trae los elementos que tengan como clase a "text" Y a "tag-item"

$x('//span[@class="text" or @class="tag-item"]') // trae los elementos que tengan como clase a "text" O a "tag-item"

$x('//span[not(@class)]') // trae todos los span que NO tengan una clase

$x('//span[@class!="text"]/text()')
$x('//span[@class!="text"]/text()').map(x => x.wholeText)
Todos los span que tienen una clase distinta a texto.

$x('/html/body/div/div[position()>1]')
Trae los elementos de una posicion hacia arriba.

$x('//span[@class="text" or @class="tag-item"]')
Trae todos los span que tengan como clase a text o que tengan como clase tag-item.

$x('//span[@class="text" and @class="tag-item"]')
Trae todos los span que tengan como clase a text y que tengan como clase tag-item.

$x('//span[not(@class)]')
Trae todos los span que no tengan un atributo de tipo class.

$x('//span[@class!="text"]')
--> (11) [span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.sh-red]
# 11 nodos span que tiene clase de tipo tag-item y no de tipo texto

$x('//span[@class="text" or @class="tag-item"]')
--> (20) [span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.text, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item, span.tag-item]
#obtiene los nodos que tengan clases de tipo text o de tipo tag-item

Operadores en Xpath

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje