In-text search en Xpath

Clase 13 de 21 • Curso de Fundamentos de Web Scraping con Python y Xpath

Clase anteriorSiguiente clase

Alejandro Giraldo Londoño

student•

RESMEN:In text Search

■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■

Para buscar cadenas de caracteres especificas dentro de un texto.

start-with(."Texto a buscar"): Empezar con, el punto hace referencia al nodo actual.

$x('//small[@class="author" and starts-with(.,"A")]/text()').map(x => x.wholeText)
#Devuelve (4) ["Albert Einstein", "Albert Einstein", "Albert Einstein", "André Gide"]

contains (., "Texto a buscar") : Sirve para llamar por el texto contenido en.

$x('//small[@class="author" and contains(., "g")]/text()').map(x => x.wholeText)
#Devuelve ["J.K. Rowling"]

Nota: Debido a las versiones del lenguaje Xpath en los navegadores las funciones end-with y matches no están disponibles, pero una ve en código python corren sin problemas.

end-with(.,""): Termina en.
matches(.,""): Sirve para hacer una búsqueda en el texto de un nodo que coincida con una expresión regular.

David Amador Morales

student•

Alejandro, nuevamente, gracias por el resumen.

Moisés Manuel Morín Hevia

student•

Qué bien, buscamos bytes especificos en el texto.

Angel Francisco Flores Ayala

student•

Los parametros que necesitan las siguientes funciones son haystack, el string donde se va a buscar (o el nodo), y una cadena de texto a buscar (o un patron).

starts-with(haystack, "first text") - Trae todos lo elementos que tienen como una cadena de texto que comience con el parámetro introducido.
contains(haystack, "some string") - Trae todos los elementos que contengan la cadena de texto introducida.

Las siguientes funciones no funcionan en el motor de JS del navegador ya que este usa la version 1.0 de XPath, mientras que las funciones corresponden a la v2.0

ends-with(haystack , "final") -
matches(haystack, Regular expresion) - Hace uso de expresiones regulares para buscar strings.

Eduardo Mejia

student•

este curso esta super interesante, nuestro sensei en verdad que sabe bastante

Moisés Manuel Morín Hevia

student•

Seee, tenemos demasiados usos.

César Ernesto Rivas Martínez

student•

$x('//small[@class="author" and @itemprop="author" and starts-with(., "A")]/node()').map(x => x.wholeText)

Moisés Manuel Morín Hevia

student•

Bien !

Luis Rogelio Reyes Hernandez

student•

// traer todos los autores que tienen un nombre que comienza por la letra A
$x('//small[@class="author" and starts-with(., "A")]/text()')
// starts-with(., "A")  el "." punto es para referirse al nodo actual , y A es el texto con que se compara que comienze

$x('//small[@class="author" and starts-with(., "A")]/text()').map(x=>x.wholeText) // viendo el texto de los autores que inician con la letra A

// autores que el nombre contenga Ro
$x('//small[@class="author" and contains(., "Ro")]')

$x('//small[@class="author" and contains(., "Ro")]/text()').map(x=>x.wholeText) // viendo el texto

// autores que terminan en t
$x('//small[@class="author" and ends-with(., "t")]/text()') // esta función no funcionara en el navegador ya que en los navegadores esta xpath 1.0 y ends-with se agrego en xpath 2.0

// usando expreciones regulares
$x('//small[@class="author" and matches(., "A.*n")]/text()') // inicia con la letra A y termina con la letra n , tambien de xpath 2.0

Jason Maximiliano Pinelo Hau

student•

Muchísimas gracias por tus resumenes!

Jesús Zelaya Contreras

student•

Gracias ! Buen resumen

Carolina Acosta Muñoz

student•

Ejemplos de búsquedas dentro del texto bajo ciertas condiciones

$x('//small[@class="author" and starts-with(.,"A")]/text()').map(x=> x.wholeText) <- busca todos los nodos de tipo small (//small), que cumplan clase "author" y empiecen con "A" (el . inicial es para buscar en el nodo actual), luego /text() para que nos devuelva el texto encontrado y con map lo podamos ver de manera textual. $x('//small[@class="author" and contains(.,"Ro")]/text()').map(x=> x.wholeText) <- Con contains trae todos los autores que tengan en su nombre "Ro" $x('//small[@class="author" and end-with(.,"n")]/text()').map(x=> x.wholeText) <- Aunque no funciona en el navegador, ends-with se escribe igual que starts-with y en python sí funciona. $x('//small[@class="author" and matches(.,"A.*n")]/text()').map(x=> x.wholeText) <- Con matches, aunque tampoco es soportada por el navegador, realiza una busqueda en el texto de un nodo que coincida con cierta expresión regular en este caso "A.*n" que empiece con A y termine con n

Kennedy ${{7*7}} Sanchez ${7*7}

student•

La busqueda no es case sensitive?

En caso de hacer una busqueda general como (A|a) aplicaria en este caso?

Juan David Colorado Alvarez

student•

El problema esta en que los navegadores solo soportan la version 1.0 de XPath, lo que hace que funciones como: matches o lower-case no estén disponibles, Por lo que tiene tendrías hacer algo más manual, o “prefiltrar” con XPath y luego en el lenguaje que estés usando volver a filtrar con una expresión regular. Esta sería la forma manual.

$x("//small[@class='author' and (starts-with(., 'A') or starts-with(., 'a'))] ")

Nadir Baca Paunero

student•

Porque no me estaria escribiendo el texto??

$x('//small[@class="author" and starts-with(.,"A")]').map( x=> x.wholeText)
(4) [undefined, undefined, undefined, undefined]

$x('//small[@class="author" and starts-with(.,"A")]/text()').map( x=> x.wholeText)
[]

Daniel Higuera

student•

me pasa lo mismo, tal vez es porque los sitios web van cambiando, hay nuevas maneras de hacer eso

Nadir Baca Paunero

student•

si lo borras y lo intentas de vuelta por ahi lo agarra

Andrés Zambrano

student•

It is better to be hated for what you are than to be loved for what you are not.

$x('//span[@class="text" and contains(., "love")]/text()').map(x => x.wholeText)```

Luis Fernando Úbeda Camacho

student•

$x('//small[@class="author" and starts-with(., "A")]'): Para extraer los nombres de autores que empiezan por A.

Moisés Manuel Morín Hevia

student•

Buenisimo !

Santiago Gomez Florez

student•

$x('//*[@class="author" and @itemprop="author" and starts-with(., "A") ]/node()').map(x => x.wholeText)```

Juan Fernando Moyano Ramírez

student•

Hola a todos, os dejo mis apuntes de esta clase, sin embargo, he creado un respositorio en github donde estan todos los apuntes de este curso: https://github.com/fer2002743/web-scraping

<h2>In-text search en Xpath</h2>

En esta clase vamos a aprender a buscar lo que queremos dentro del text.

Supongamos que quiero traer todos los autores que comienzan por determinada letra, por ejemplo la letra A, para ello hago lo siguiente:

$x('//small[@class="author" and starts-with(., "A")]')

#dentro de starts-with el punto significa que busque en el nodo actual, y la letra entre comillas significa la letra

Pero esto no es todo, tambien podemos usar la funcion contains de la siguiente manera:

$x('//small[@class="author" and contains(., "RO")]')

Por otro lado, tambien podemos seleccionar lo que queremos fijandonos en las letras finales:

$x('//small[@class="author" and ends-with(.,"ing")]')

#en el navegador me va a salir error porque en los navegadores usan la version 1.0 de XPath, y esta funcion esta en la version 2.0, sin embargo, cuando ejeccute esta funcion en python no tendre ningun problema

Matches la utilizamos para encontrar un texto en un nodo que coincida con cierta expresion regular.

$x('//small[@class="author" and matches(., "A.n*")]')

#esto selecciona los nombres que empiezan con A y terminan en n

Moisés Manuel Morín Hevia

student•

Gracias por tus apuntes.

LINDA JHENNIFER ACOSTA LEGUIZAMO

student•

Starts-with y ends-with para buscar coincidencias

Moisés Manuel Morín Hevia

student•

Coincidencias de bytes específicos .

Francisco Garcia [C6]

student•

que bien

Moisés Manuel Morín Hevia

student•

Perfecto !!

Carlos Javier Guevara Contreras

student•

Muy Util

Moisés Manuel Morín Hevia

student•

Demasiado

Germán Antonino Corona Aguilar

student•

Puede que para ustedes no sea nuevo, pero puedes poner tantos "and" como te de la gana.

$x('//small[@class="author" and @itemprop="author" and starts-with(.,"A")]/text()').map(x => x.wholeText)
(4) ["Albert Einstein", "Albert Einstein", "Albert Einstein", "André Gide"]

Edward Toledo López

student•

$x('//small[@class="author" and contains(., "Ro") or contains(., "ro")]/text()').map(x => x.wholeText)

Juan David Suarez

student•


$x('//div/a[@class="tag" and (contains(., "love") or contains(., "inspirational")) ]/text()')

Encontrar los tags que contengan "love" o "inspirational"

Martin DAVILA

student•

"In-text serch"
$x('//small[@class="author and starts-whit(.,"A"')]/text()').map(x => x.wholeText)

$x('//small[@class="author and emds-whit(.,"A"')]/text()').map(x => x.wholeText)

$x('//small[@class="author and match(.,"A"')]/text()').map(x => x.wholeText)```

Luis Enrique Noguera Gil

student•

¿Cómo se puede extraer el texto de un párrafo cuando este cuenta con span o em?

Este es el fragmento del código HTML:

<p>Reference: “A microneedle vaccine printer for thermostable <span class="glossaryLink" aria-describedby="tt" data-cmtooltip="<div class=glossaryItemTitle>COVID-19</div><div class=glossaryItemBody>First identified in 2019 in Wuhan, China, COVID-19, or Coronavirus disease 2019, (which was originally called &amp;quot;2019 novel coronavirus&amp;quot; or 2019-nCoV) is an infectious disease caused by severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2). It has spread globally, resulting in the 2019–22 coronavirus pandemic.</div>" data-gt-translate-attributes="[{&quot;attribute&quot;:&quot;data-cmtooltip&quot;, &quot;format&quot;:&quot;html&quot;}]">COVID-19</span> mRNA vaccines” by Aurélien vander Straeten, Morteza Sarmadi, John L. Daristotle, Maria Kanelli, Lisa H. Tostanoski, Joe Collins, Apurva Pardeshi, Jooli Han, Dhruv Varshney, Behnaz Eshaghi, Johnny Garcia, Timothy A. Forster, Gary Li, Nandita Menon, Sydney L. Pyon, Linzixuan Zhang, Catherine Jacob-Dolan, Olivia C. Powers, Kevin Hall, Shahad K. Alsaiari, Morris Wolf, Mark W. Tibbitt, Robert Farra, Dan H. Barouch, Robert Langer and Ana Jaklenec, 24 April 2023, <em>Nature Biotechnology</em>.<br><a href="https://www.nature.com/articles/s41587-023-01774-z">DOI: 10.1038/s41587-023-01774-z</a></p>

Con el código Xpath

$x('/html/body/div[3]/div/div/article/div/p[22]//text()').map(x => x.wholeText)

Se tiene el arreglo:

['Reference: “A microneedle vaccine printer for thermostable ', 'COVID-19', ' mRNA vaccines” by Aurélien vander Straeten, Morte…, Robert Langer and Ana Jaklenec, 24 April 2023, ', 'Nature Biotechnology', '.', 'DOI: 10.1038/s41587-023-01774-z']

Me interesa tenerlo todo junto en un mismo String, y de ser posible desde la sentencia xPath. Lo he intentado desde python, pero depende de la posición donde se encuentre cada elemnto si es posible o no fusionarlo de forma coherente con el texto. No me gustaría procesar párrafo por párrafo😅, sólo como último recurso.

¿Alguien tendría alguna idea?

In-text search en Xpath

Introducción al web scraping

¿Qué es el web scraping?

¿Por qué aprender web scraping hoy?

Python: el lenguaje más poderoso para extraer datos

Fundamentos de la web

Entender HTTP

¿Qué es HTML?

Robots.txt: permisos y consideraciones al hacer web scraping

XML Path Language

XML Path Language

Tipos de nodos en XPath

Expresiones en XPath

Predicados en Xpath

Operadores en Xpath

Wildcards en Xpath

In-text search en Xpath

XPath Axes

Resumen de XPath

Aplicando lo aprendido

Proyecto: scraper de noticias

Un proyecto para tu portafolio: scraper de noticias

Construcción de las expresiones de XPath

Obteniendo los links de los artículos con Python

Guardando las noticias en archivos de texto

Conclusiones

Cómo continuar tu ruta de aprendizaje