Obtención de información de cada producto

Clase 15 de 34 • Curso Profesional de Ciencia de Datos 2019

Platzerito De Platzi

student•

#obteniendo datos de mascarilla n95
library(rvest)
url&lt;-&quot;https://www.amazon.es/TDORA-m%C3%A1scara-Activado-protecci%C3%B3n-Unidades/dp/B0856WFSXP/ref=sr_1_14?__mk_es_ES=%C3%85M%C3%85%C5%BD%C3%95%C3%91&amp;dchild=1&amp;keywords=mascarilla+n95&amp;qid=1587056172&amp;sr=8-14&quot;
pagina_web&lt;-read_html(url)

nombre&lt;-&quot;#productTitle&quot;
nombre_nodo&lt;-html_node(pagina_web,nombre)
nombre_texto&lt;-html_text(nombre_nodo)

opiniones&lt;-&quot;#acrCustomerReviewText&quot;
opiniones_nodo&lt;-html_node(pagina_web,opiniones)
opiniones_texto&lt;-html_text(opiniones_nodo)

precio&lt;-&quot;#priceblock_ourprice&quot;
precio_nodo&lt;-html_node(pagina_web,precio)
precio_texto&lt;-html_text(precio_nodo)


tabla&lt;-&quot;#prodDetails &gt; div.wrapper.ESlocale &gt; div.column.col1 &gt; div &gt; div.content.pdClearfix &gt; div &gt; div &gt; table&quot;
tabla_nodo&lt;-html_node(pagina_web,tabla)
tabla_tab&lt;-html_table(tabla_nodo)
#class(tabla_tab)
val&lt;-tabla_tab$X2
res_tabla&lt;-data.frame(t(val))
tabla_name&lt;-tabla_tab$X1
colnames(res_tabla)&lt;-tabla_name
#str(res_tabla)

resultado_mascarilla&lt;-c(precio_texto,nombre_texto,opiniones_texto,as.character(res_tabla$`Marca`),
		    as.character(res_tabla$`Potencia`),as.character(res_tabla$`Número de modelo`),
		    as.character(res_tabla$`Color`))
resultado_mascarilla

Juan Carlos Rubio Polania

student•

Se puede hacer algo para obtener la información de los selectores si la página los cambia de un elemento a otro?. Osea se puede usar el nombre que va arriba del selector donde está la información del selector para obtener la información que necesito?.

Miguel Angel Lemozx

student•

Lo he dejado así, un poco más resumido

###########################################
# Librerías de la rutina
library(xml2)
library(rvest)
library(stringr)

###########################################
# Ruta real de la pagina para webscraping 
urlBase <- "https://www.amazon.com"
url <- "https://www.amazon.com/s?k=aspiradoras&__mk_es_US=%C3%85M%C3%85%C5%BD%C3%95%C3%91&ref=nb_sb_noss_2"
UrlPaginacion <- "https://www.amazon.com/-/es/s?k=aspiradoras&page=2&language=es_US&__mk_es_US=%C3%85M%C3%85%C5%BD%C3%95%C3%91&qid=1578546672&ref=sr_pg_2"
paginacion <- 1:10

###########################################
# Llamar función xml2 para creación del objeto tipo Html
pagina_web <- read_html(url)
nodo<-html_node(pagina_web,"div:nth-child(1) > div:nth-child(1) > div:nth-child(2) > div:nth-child(2) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > h2:nth-child(1) > a:nth-child(1)")
nodo_Links <- html_attr(nodo,"href")

pag <- str_replace(UrlPaginacion,"page=2",paste0("page=",paginacion))
pag <- str_replace(pag,"sr_pg_2",paste0("sr_pg_",paginacion))

obtenerLinksPaginacion <-function(url){
  
  pagina_web <- read_html(url)
  nodo<-html_nodes(pagina_web,"div > div:nth-child(1) > div > div > div:nth-child(1) > h2 > a")
  nodo_Links <- paste0(urlBase,html_attr(nodo,"href"))
  nodo_Links
}

test <- as.vector(sapply(pag,obtenerLinksPaginacion))


url <- test[1]
pagina_web <- read_html(url)
nombre<-trimws(html_text(html_node(pagina_web,"#productTitle")))
opiniones<-trimws(html_text(html_node(pagina_web,"#averageCustomerReviews_feature_div > div:nth-child(2) > span:nth-child(3) > a:nth-child(1) > span:nth-child(1)")))
precio <- trimws(html_text(html_node(pagina_web,"#priceblock_ourprice")))

detallesTecnicosTmp <- html_table(html_node(pagina_web,"#productDetails_detailBullets_sections1")) 
detalleTecnico <- data.frame(t(detallesTecnicosTmp$X2))
colnames(detalleTecnico)<-detallesTecnicosTmp$X1

listaAspiradoras <- c(nombre,precio,opiniones,as.character(detalleTecnico$`Peso del producto`),as.character(detalleTecnico$`Dimensiones del producto`,as.character(detalleTecnico$Fabricante)))```

Cindy Paola

student•

debido a la confusión que se presento en el minuto 6:47, lo que cambio fue en nombre de las variables de esto :

tabla<-"#prodDetails > div > div.column.col1 > div > div.content.pdClearfix > div > div > table"
tabla_nodes<-html_node(pagina_web,tabla)
tabla_des<-html_table(tabla_nodes)
tabla_des

a esto :

tabla<-"#prodDetails > div > div.column.col1 > div > div.content.pdClearfix > div > div > table"
tabla_nodo<-html_node(pagina_web,tabla)
tabla_des<-html_table(tabla_nodo)
tabla_des

pero ambos códigos no deberían tener problemas al correrlos.

Luego de eso el objetivo es transformar esa tabla en información de las características del producto como colnames de las variables que nos interesa con el contenido de las mismas

Claudia Tejos Candia

student•

NO he podido avanzar en el curso, porque llego a la línea "class(linksAsp)" que resulta en "[1] list", si alguien pudiera ayudarme se los agardecería. Saludos.

Juan Ignacio Echenique Olsina

student•

alguien puede ayudarme me aparece este error: no applicable method for 'html_table' applied to an object of class "xml_missing" al ejecutar esta parte del codigo:

tabla <- "#productDetails_techSpec_section_1"
tabla_nodo <- html_node(pagina_web, tabla)
tabla_tab <- html_table(tabla_nodo)
tabla_tab
class(tabla_tab)

dejo la pagina con la que estoy trabajando y el codigo hasta ahora: https://www.amazon.com/Acer-i5-8265U-Keyboard-Fingerprint-A515-54-51DJ/dp/B07RF2123Z/ref=sr_1_2?keywords=laptop&qid=1575949837&sr=8-2

library(xml2)
library(rvest)

url <- "https://www.amazon.com/s?k=laptop&ref=nb_sb_noss"

selector <- "#search > div.sg-row > div.sg-col-20-of-24.sg-col-28-of-32.sg-col-16-of-20.sg-col.s-right-column.sg-col-32-of-36.sg-col-8-of-12.sg-col-12-of-16.sg-col-24-of-28 > div > span:nth-child(5) > div.s-result-list.s-search-results.sg-row > div:nth-child(1) > div > span > div > div > div > div > div:nth-child(2) > div.sg-col-4-of-12.sg-col-8-of-16.sg-col-16-of-24.sg-col-12-of-20.sg-col-24-of-32.sg-col.sg-col-28-of-36.sg-col-20-of-28 > div > div:nth-child(1) > div > div > div:nth-child(1) > h2 > a"

pagina <- read_html(url)

nodo <- html_node(pagina, selector)
nodo_text <- html_text(nodo)
nodo_link <- html_attr(nodo, "href")

urlCompleta <- paste0("www.amazon.com",nodo_link)
urlCompleta

library(stringr)

pag <- paste0("https://www.amazon.com/s?k=laptop&page=",c(1:10),"&qid=1575949837&ref=sr_pg_",c(1:10))

dameLinksPagina <- function(url){
  
  selector <- "div > div:nth-child(1) > div > div > div:nth-child(1) > h2 > a"
  pagina <- read_html(url)
  nodo <- html_nodes(pagina, selector)
  nodo_text <- html_text(nodo)
  nodo_link <- html_attr(nodo, "href")
  nodo_link
}

linksAsp <- sapply(pag, dameLinksPagina)

vlink <- as.vector(linksAsp)
vlinkLaptops <- paste0("https://www.amazon.com",vlink)
vlinkLaptops


url <- "https://www.amazon.com/gp/slredirect/picassoRedirect.html/ref=pa_sp_atf_aps_sr_pg1_1?ie=UTF8&adId=A1002396HL6E3DR4SH73&url=%2FASUS-VivoBook-i3-8145U-Windows-F512FA-AB34%2Fdp%2FB07RK5M35T%2Fref%3Dsr_1_1_sspa%3Fkeywords%3Dlaptop%26qid%3D1575991379%26sr%3D8-1-spons%26psc%3D1&qualifier=1575991379&id=2929339908916874&widgetName=sp_atf"
nombre <- "#productTitle"
pagina_web <- read_html(url)
nombre_nodo <- html_node(pagina_web, nombre)
nombre_texto <- html_text(nombre_nodo)
nombre_texto


opiniones <- "#acrCustomerReviewText"
opiniones_nodo <- html_node(pagina_web, opiniones)
opiniones_texto <- html_text(opiniones_nodo)
opiniones_texto


precio <- "#priceblock_ourprice"
precio_nodo <- html_node(pagina_web, precio)
precio_texto <- html_text(precio_nodo)
precio_texto


tabla <- "#productDetails_techSpec_section_1"
tabla_nodo <- html_node(pagina_web, tabla)
tabla_tab <- html_table(tabla_nodo)
tabla_tab
class(tabla_tab)

Nestor Wario

student•

Me perdí desde el minuto 6:47. Además a mi no me sirvio el codigo adjunto en los archivos, me sale error :(

Miguel Ocampo

company_admin•

Un poco confuso el video, al principio iba muy bien. Después el error el minuto 6:47 y no pude volver a coger el hilo. Es difícil entender el objetivo del ejercicio.

Luis Felipe Muñoz Martinez

student•

Geniaaal.

Irving Ariel Escamilla Jacobo

student•

Error en la edición de video, confunde por un tiempo.

Diego Forero

Team Platzi•

Hola puedes comentarnos en que punto para hacer la revisión y corregir esto.

Conrado Javier Jiménez Méndez

student•

Al 8:52 se describe una primera manera de integrar los resultados, pero en 10:07 lo presentan de otra manera; ésta segunda es la que aparece en el script final que se descarga, por lo que parece que la primera está de más o que no fue bien editado el pase.

Patricia Calisto Gutierrez

student•

Se sugiere, por favor, agregar en el material de apoyo el código escrito. Sería de mucha ayuda para entender y avanzar más rápido.

Diego Forero

Team Platzi•

Hola, vamos a revisar y publicarlos lo más pronto posible. Gracias por el reporte.

Carlos Alberto García Rosales

student•

¿Qué podría hacer si mis tablas no son consistentes?

Sergio Rubiano

student•

Solo debes adaptarlo a lo que necesites

Diego Guillermo Yovera Coveñas

student•

Jajaja el sonidito del minuto 6:47 me hizo matar de la risa

Xavier González

student•

Hola, alguien sabe porque me aparecen todos 1 en las ultimas? La tabla que he copiado es esta:

Codigo:

tabla<-"#prodDetails > div > div.column.col1 > div > div.content.pdClearfix > div > div > table" tabla_nodo<-html_node(pagina_web, tabla) tabla_tab<-html_table(tabla_nodo) tabla_tab class(tabla_tab) val<-tabla_tab$X2 val res_tabla<-data.frame(t(val)) res_tabla tabla_name<-tabla_tab$X1 tabla_name colnames(res_tabla)<-tabla_name res_tabla str(res_tabla)

resultado_aspiradoras-c(nombre_texto, precio_texto, opiniones_texto, as.character(res_tabla$Peso del producto), as.character((res_tabla$Potencia), as.character(res_tabla$Dimensiones del producto), as.character(res_tabla$Volumen))

resultado_aspiradoras<-c(precio_texto, nombre_texto, opiniones_texto, res_tabla$Peso del producto, res_tabla$Potencia, res_tabla$Dimensiones del producto, res_tabla$Volumen) resultado_aspiradoras

resultado_aspiradoras [1] "46,96 €"
[2] "\n \n \n \n \n\n \n \n \n Aspiradora de Mano Sin Cable, HIKEREN Aspirador Mano Potente, 6000PA, Aspiradora Sin Cable con Filtro de Acero Inoxidable, Luz LED, Batería de 2600mAh, Tecnología Ciclónica, 3 Boquillas\n \n \n\n \n \n \n \n " [3] "306 opiniones de clientes"
[4] "1"
[5] "1"
[6] "1"

Cindy Azaña Chauca

student•

a tu vector resultado_aspiradoras le falta la conversión** as.character** los datos que muestras no son correctos. Debería quedar algo así: [1] " \n GridinLux. Aspirador vertical inalámbrico. Batería de Litio SAMSUNG. Sin cables. Sin bolsa. Sistema ciclónico. Selección de intensidad variable. Luz LED. Función 2 en 1\n" [2] "\n 114,99 €\n "
[3] "1 opinión de cliente"
[4] "66 x 24,6 x 18,2 cm"
[5] "0.5 litros"
[6] "150 vatios"

Sergio Rubiano

student•

Revisa esta linea de tu codigo ahi esta el problema

tabla_nodo=html_nodes(pagina_web, tabla)

Joel Ricci López

student•

Comparto mi código con algunas modificaciones:

# Obtención de la información de cada producto
# Preliminares
url_ &lt;- 'https://www.amazon.com.mx/Vacmaster-VFB511B-0201-Professional-Vacuum/dp/B074BR5RV9/ref=sr_1_19?__mk_es_MX=%C3%85M%C3%85%C5%BD%C3%95%C3%91&amp;keywords=aspiradora&amp;qid=1582611975&amp;sr=8-19'

# Definimos una función para extraer el texto dado un selector
getSelectorText &lt;- function(url, selector){
  pag &lt;- read_html(url)
  node &lt;- html_node(pag, selector)
  text &lt;- html_text(node)
  return(text)
}

# Nombre del producto
sel_name &lt;- '#productTitle'
prod_name &lt;- getSelectorText(url = url_, selector = sel_name)

# Número de opiniones
sel_n_opinions &lt;- '#acrCustomerReviewLink'
n_opinions &lt;- getSelectorText(url_, sel_n_opinions)

# precio
sel_price &lt;- '#priceblock_ourprice'
price &lt;- getSelectorText(url_, sel_price)

# Especificaciones técnicas
sel_table &lt;- '#prodDetails &gt; div.wrapper.MXlocale &gt; div.column.col1 &gt; div &gt; div.content.pdClearfix &gt; div &gt; div &gt; table'
table &lt;- html_table(html_nodes(read_html(url_), sel_table))
table_df &lt;- as.data.frame(table)

# Obtención de la información, hay que usar la primer columna como rownames y luego trasponer la tabla
# Uso de la primera fila como colnames
rownames(table_df) &lt;- table_df[, 1]
table_df &lt;- data.frame(t(table_df[, 2, drop = F]), stringsAsFactors = FALSE) 
#Transponemos la tabla, y conservamos sólo la columna 2
str(table_df)

# Formato de las caracterśiticas del producto
# Nos interesa: nombre, precio, n_opiniones, peso, color, tamaño y dimensiones
resultado_aspiradora &lt;- c(prod_name, price, n_opinions, 
                          table_df$Color, table_df$Peso, table_df$Tamaño, 
                          table_df$Longitud, table_df$Altura, table_df$Ancho)

Edwin Jesset Barrientos Gonzales

student•


    #obteniendo datos
    url&lt;-&quot;https://www.amazon.es/AmazonBasics-Aspiradora-cilíndrica-bolsa-energética/dp/B07C3NFCYC/ref=sr_1_1_sspa?__mk_es_ES=ÅMÅŽÕÑ&amp;keywords=aspiradoras&amp;qid=1585079672&amp;sr=8-1-spons&amp;psc=1&amp;spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyVkhNSkxGQU1PQzVVJmVuY3J5cHRlZElkPUEwMTcyNDg2MkRCVFJHV0U4U0E4WSZlbmNyeXB0ZWRBZElkPUEwMTE0NzkwMlE2VzU5UjgyWjI5OSZ3aWRnZXROYW1lPXNwX2F0ZiZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=&quot;
    nombre&lt;-&quot;#productTitle&quot;
    pagina_web&lt;-read_html(url)
    nombre_nodo&lt;-html_node(pagina_web,nombre)
    nombre_texto&lt;-html_text(nombre_nodo)

    opiniones&lt;-&quot;#acrCustomerReviewText&quot;
    opiniones_nodo&lt;-html_node(pagina_web,opiniones)
    opiniones_texto&lt;-html_text(opiniones_nodo)

    precio&lt;-&quot;#priceblock_ourprice&quot;
    precio_nodo&lt;-html_node(pagina_web,precio)
    precio_texto&lt;-html_text(precio_nodo)


    tabla&lt;-&quot;#prodDetails &gt; div.wrapper.ESlocale &gt; div.column.col1 &gt; div:nth-child(1) &gt; div.content.pdClearfix &gt; div &gt; div &gt; table&quot;
    tabla_nodo&lt;-html_node(pagina_web,tabla)
    tabla_tab&lt;-html_table(tabla_nodo)
    class(tabla_tab)
    val&lt;-tabla_tab$X2
    res_tabla&lt;-data.frame(t(val))
    tabla_name&lt;-tabla_tab$X1
    colnames(res_tabla)&lt;-tabla_name
    res_tabla
    str(res_tabla)

    resultado_aspiradoras&lt;-c(precio_texto,nombre_texto,opiniones_texto,as.character(res_tabla$`Peso del producto`),
                            as.character(res_tabla$`Potencia`),as.character(res_tabla$`Dimensiones del producto`),
                            as.character(res_tabla$`Volumen`))

CLAUDIA CRISTINA APARICIO RUEDA

student•

interesante!

Andrés Naranjo Z.

student•

luego metemos todo a una funcion y vamonos

Carlos Perilla

student•

Para quienes tuvieron problemas con el selector es:

selector <- "#productDetails_techSpec_section_1"

Si falla, una forma de hallarlo es usando el selector "table", con html_nodes, ver las opciones que salen, y el id correspondiente a los detalles del producto.

Espero que sea de ayuda.

Sebastián Arcos

student•

¡Hola Platzi!, creo que hay un error en el video, de pronto, en el minuto 6:47, aparece música y se acelera el video. Se pierde un poco el orden de los pasos que estamos siguiendo.

Obtención de información de cada producto

Basicos para el curso

Mundo Data Science

¿Qué hace un Data Scientist?

Introducción a R

Operaciones con datos: vectores, listas y matrices

Operaciones con datos: dataframe y ficheros

¿Qué es web scraping?

Visualización de datos

Presentación del proyecto

Web scraping con R

Intro paquete Rvest y descripción de ejercicio

Principales funciones de Rvest

HTML node

Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Obtención de URL de cada producto

Funciones Apply

Obtención de información de cada producto

Automatización para obtener datos preprocesados

Corrección de errores durante obtención de datos

Reto: Obtén datos de la liga española de fútbol

Adecuación y Análisis descriptivo de los datos

Adecuación de los datos, transformación y eliminación de NA

Procesamiento de datos

Adecuación al algoritmo K-means

Reto: Prepara los datos obtenidos

Aplicando modelo no supervisado: Kmeans

Cómo funciona el algoritmo K-means

Aplicando K-means a nuestro proyecto

Visualización de los clusters

Reto: Aplica el modelo K-means

Modelo en producción

Cómo hacer un punto de API con plumber en R

Poner nuestro modelo en tiempo real: revisión de distancias

Poner nuestro modelo en producción

Reto: Pon un modelo en producción

Representación de los resultados del modelo

Introducción a shiny y sus componentes

Mostrando los resultados de nuestro proyecto en Shiny

Reto:Representación de los resultados del modelo

Cierre del curso

Conclusiones