Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Clase 12 de 34 • Curso Profesional de Ciencia de Datos 2019

Resumen

Para nuestro proyecto vamos a buscar aspiradoras en Amazon y obtener distintos elementos:

Nombre
Peso
Dimensiones
Capacidad
Potencia
Opiniones
Precio

Necesitamos recopilar 200 aspiradoras distintas, una página de búsqueda de Amazon solamente nos muestra 20 productos, por ello vamos a tener que manipular una cadena de texto que será nuestra url base e iremos automatizando las distintas urls modificando solamente los valores necesarios utilizando la libreria stringr.

Jorge Juvenal Campos F

student•

En vez de escribir

pag <- str_replace(pag, "page=2", paste0("page=", lista_paginas))
pag <- str_replace(pag, "sr_pg_2", paste0("sr_pg_", lista_paginas))

mi propuesta es simplemente escribir

pag <- paste0("https://www.amazon.com.mx/s?k=aspiradoras&page=", c(1:10), "&__mk_es_MX=ÅMÅŽÕÑ&qid=1562286404&ref=sr_pg_", c(1:10))

**Ventajas: **

Creas el objeto pan una sola vez (eficiencia de memoria)
No utilizas stringr tan pronto.

Demetrio Cumplido Narciso

student•

Excelente aportación, muchas gracias.

Isay Humberto Lucas Hernandez

student•

Excelente aporte Jorge!

Depgeinf Developers

student•

Cuando ejecuto estos comandos me sale lo siguiente:

library(rvest) url<-"https://www.amazon.com/s?k=aspiradora&__mk_es_US=%C3%85M%C3%85%C5%BD%C3%95%C3%91&ref=nb_sb_noss" selector<-"#search > div.s-desktop-width-max.s-desktop-content.sg-row > div.sg-col-20-of-24.sg-col-28-of-32.sg-col-16-of-20.sg-col.s-right-column.sg-col-32-of-36.sg-col-8-of-12.sg-col-12-of-16.sg-col-24-of-28 > div > span:nth-child(5) > div.s-result-list.s-search-results.sg-row > div:nth-child(9) > div > span > div > div > div > div:nth-child(3) > h2 > a" pagina<-read_html(url) nodo<-html_node(pagina,selector) nodo_text<-html_text(nodo) nodo_text

al ejecutar nodo_text sale eso: [1] NA

Manuel Ignacio Huala Pérez

student•

Cambia la url:

url<-“https://www.amazon.com/s?k=aspiradora&__mk_es_US=ÅMÅŽÕÑ&ref=nb_sb_noss"

Por:

url<-"https://www.amazon.es/s?k=aspiradora&__mk_es_US=%C3%85M%C3%85%C5%BD%C3%95%C3%91&ref=nb_sb_noss"

Creo que hay un problema cuando el script trata de leer la parte "ÅMÅŽÕÑ", fíjate que en el min 4:15 a la hora de copiar el link la parte de "ÅMÅŽÕÑ" queda pegada como "%C3%85M%C3%85%C5%BD%C3%95%C3%91"

Christian Mahonry Colorado Bulbarela

student•

Ejecuta el código pero mas lento, dale tiempo a procesar las requests a la pagina web

Alexander Bolaño Cervantes

student•

Buenos días comunidad y que hacer en los casos en que el nodo no te retorna lo esperado , es un problema al que me he enfrentado constantemente desde que empece a hacer WebScrapping :

`nodo<-html_node(pagina,selector) nodo<-html_text(nodo) nodo **_> nodo [1] NA

_** ` y estaba esperando :

#search > div.sg-row > div.sg-col-20-of-24.sg-col-28-of-32.sg-col-16-of-20.sg-col.s-right-column.sg-col-32-of-36.sg-col-8-of-12.sg-col-12-of-16.sg-col-24-of-28 > div > span:nth-child(4) > div.s-result-list.s-search-results.sg-row > div:nth-child(1) > div > div > div > div > div > div:nth-child(2) > div.sg-col-4-of-12.sg-col-8-of-16.sg-col-16-of-24.sg-col-12-of-20.sg-col-24-of-32.sg-col.sg-col-28-of-36.sg-col-20-of-28 > div > div:nth-child(1) > div > div > div:nth-child(1) > h2 > a

Alexander Bolaño Cervantes

student•

No he podido avanzar con el curso debido a que cuando quiero extraer la información de la url que guarde en el nodo , no me retorna nada es como si la pagina de amazon me bloqueara la extracción de la información , me sigue apareciendo

nodo_text [1] NA

Qué puedo hacer para solucionar esto con esta o cualquier pagina ??????

Gabriel Andrés Alzate Acuña

student•

Me pasa exactamente lo mismo. Tampoco los códigos que usa la profesora funcionan, creo que ya es algo de amazon que cambio su estructura o algo asi. Alguien ha obtenido respuesta?

David Martínez Jiménez

student•

Alguien que me ayude?? me sale el siguiente mensaje: "Could not resolve host: www.amazon.com"

Camilo Cadavid Cardona

student•

¿como puedo saber en que paginas hago este ejercicio? lo intento de diferentes formas y el nodo siempre entrega <NA>

Yerly Tatiana Leon Montenegro

student•

Me pasa igual, hace unos dias hice la actividad y todo iba bien pero de un momento a otro en el nodo me aparece N/A, me pasa incluso con el script que subieron al enlace

nodo_links [1] NA View(nodo) nodo_text [1] NA

Juan Ventrone

student•

Con que podria guiarme si los links no tienen un patron.??

Adrián Rueda

student•

Me está encantando el curso!. :D

Jorge Augusto Sánchez Jácome

student•

cual es la diferencian entre selector y xpath, en el video anterior explicabas con xpath y siempre hemos estado trabajado con selector

Juan Ventrone

student•

NO tienes Idea lo que he soñado con esta herramienta que estoy aprendiendo el dia de hoy! Gracias Inés H.

José Luis Villavicencio Crespo

student•

library(rvest)
url<-"https://www.amazon.com.mx/s?k=aspiradora+amazon&adgrpid=56961494599&gclid=CjwKCAiAlO7uBRANEiwA_vXQ-20E8tEolaUed1BibC_ck36hoYpR4jnCoDny5za4O3Y9l4Cvpi17hRoCj_UQAvD_BwE&hvadid=286730146490&hvdev=c&hvlocphy=1010132&hvnetw=g&hvpos=1t1&hvqmt=e&hvrand=12061067501414910640&hvtargid=kwd-303306012429&hydadcr=26980_9990377&tag=googhydr0mx-20&ref=pd_sl_7yzt9zobn6_e"
selector<-"#search > div.sg-row > div.sg-col-20-of-24.sg-col-28-of-32.sg-col-16-of-20.sg-col.s-right-column.sg-col-32-of-36.sg-col-8-of-12.sg-col-12-of-16.sg-col-24-of-28 > div > span:nth-child(5) > div.s-result-list.s-search-results.sg-row > div:nth-child(1) > div > span > div > div > div:nth-child(2) > div.sg-col-4-of-12.sg-col-8-of-16.sg-col-16-of-24.sg-col-12-of-20.sg-col-24-of-32.sg-col.sg-col-28-of-36.sg-col-20-of-28 > div > div:nth-child(1) > div > div > div:nth-child(1) > h2 > a"
pagina<-read_html(url)
nodo<-html_node(pagina,selector)
nodo
nodotexto<-html_text(nodo)
nodotexto
nodo_link<-html_attr(nodo,"href")
nodo_link```

Federico palacio

student•

[1] NA

nodo {xml_missing}
<NA>

Hola me aparece esto cuando lo corro alguien me podria colaborar

Claudia Tejos Candia

student•

Hola, cuando imprimo nodo_text y nodo_links, me retorna [1] NA ¿me podrían ayudar?

Federico palacio

student•

buenas tardes me pasa lo mismo lo intente desde otra url pero me aparece lo mismo

Alejandra Mora

student•

chicos consulta, después de hacer los primeros pasos cuando quiero imprimir el comando nodo_links o nodo_text me aparece el siguiente error.

Alguien sabe como solucionarlo?

nodo_text<-html_text(nodo) nodo_text [1] NA nodo_link<-html_attr(nodo, "href") nodo_link [1] NA

Luis Guzman

student•

Me tomó un poco de tiempo asimilar el funcionamiento de "str_replace" y el "paste0" ya con el resto del cógido en la lista de los 10 elementos

Miguel Angel Lemozx

student•

<code>
###########################################
# Librerías de la rutina
library(xml2)
library(rvest)
library(stringr)

###########################################
# Ruta real de la pagina para webscraping 
urlBase <- "https://www.amazon.com"
url <- "https://www.amazon.com/s?k=aspiradoras&__mk_es_US=%C3%85M%C3%85%C5%BD%C3%95%C3%91&ref=nb_sb_noss_2"
UrlPaginacion <- "https://www.amazon.com/-/es/s?k=aspiradoras&page=2&language=es_US&__mk_es_US=%C3%85M%C3%85%C5%BD%C3%95%C3%91&qid=1578546672&ref=sr_pg_2"
paginacion <- 1:10

###########################################
# Llamar función xml2 para creación del objeto tipo Html
pagina_web <- read_html(url)

nodo<-html_node(pagina_web,"div:nth-child(1) > div:nth-child(1) > div:nth-child(2) > div:nth-child(2) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > h2:nth-child(1) > a:nth-child(1)")
nodo_Links <- html_attr(nodo,"href")

pag <- str_replace(UrlPaginacion,"page=2",paste0("page=",paginacion))
pag <- str_replace(pag,"sr_pg_2",paste0("sr_pg_",paginacion))
pag
</code>

Javier Sabando

student•

Traten de no ser dependientes de librerías, por ejemplo para crear la url podemos usar esta función y hacerla los ayudará a comprender que hace por detrás el paquete.

createUrl <- function(num, first, middle){
  return(paste0(first,num,middle,num))
}

Cindy Azaña Chauca

student•

Buen curso.

Por si a alguien le sucede. No es lo mismo utilizar los '' que los "". Por ejemplo "page=2" por ''page=2', No te reporta ningún error pero el resultado no es el mismo.

CLAUDIA CRISTINA APARICIO RUEDA

student•

interesante!

Orlando Ramirez

student•

Estuve investigando y la funcion paste0 funciona muy parecido a paste, pero es más eficiente.

Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Basicos para el curso

Mundo Data Science

¿Qué hace un Data Scientist?

Introducción a R

Operaciones con datos: vectores, listas y matrices

Operaciones con datos: dataframe y ficheros

¿Qué es web scraping?

Visualización de datos

Presentación del proyecto

Web scraping con R

Intro paquete Rvest y descripción de ejercicio

Principales funciones de Rvest

HTML node

Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Obtención de URL de cada producto

Funciones Apply

Obtención de información de cada producto

Automatización para obtener datos preprocesados

Corrección de errores durante obtención de datos

Reto: Obtén datos de la liga española de fútbol

Adecuación y Análisis descriptivo de los datos

Adecuación de los datos, transformación y eliminación de NA

Procesamiento de datos

Adecuación al algoritmo K-means

Reto: Prepara los datos obtenidos

Aplicando modelo no supervisado: Kmeans

Cómo funciona el algoritmo K-means

Aplicando K-means a nuestro proyecto

Visualización de los clusters

Reto: Aplica el modelo K-means

Modelo en producción

Cómo hacer un punto de API con plumber en R

Poner nuestro modelo en tiempo real: revisión de distancias

Poner nuestro modelo en producción

Reto: Pon un modelo en producción

Representación de los resultados del modelo

Introducción a shiny y sus componentes

Mostrando los resultados de nuestro proyecto en Shiny

Reto:Representación de los resultados del modelo

Cierre del curso

Conclusiones