Automatización para obtener datos preprocesados

Clase 16 de 34 • Curso Profesional de Ciencia de Datos 2019

Clase anteriorSiguiente clase

Carlos Alberto García Rosales

student•

¿Hay algún motivo en especial para usar -1?

Alan Vazquez

student•

Hice el scrapper para python, los datos de la tabla los obtiene de manera dinamica asigandolo a un diccionario, si la llave de la tabla no existe en el diccionario lo agrega, eesto generaria una nueva columna, en caso de que ya exista la llave en el diccionario solo lo agrega a su respectiva columna. Este solo es el codigo del spider usando el framework de scrapy

import scrapy
import datetime

class AmazonSpider(scrapy.Spider):
    name = 'amazon'
    allowed_domains = ['amazon.com.mx']
    start_urls = ['https://www.amazon.com.mx/laptop-Laptops-Computadoras-Componentes-y-Accesorios/s?k=laptop&amp;rh=n%3A10189669011']

    custom_settings = {
        'FEED_URI': 'amazon_' + datetime.datetime.today().strftime('%m%d') + '.csv',
        'FEED_FORMAT': 'csv',
        'FEED_EXPORTERS': {
            'csv': 'scrapy.exporters.CsvItemExporter',
        },
        'FEED_EXPORT_ENCODING': 'utf-8',

        'DEPTH_LIMIT' : 10
    }

    def _validate_field(self, field):
        if field is not None:
            return field
        else: 
            None



    def parse(self, response):
        product_links = response.css('h2 .a-link-normal.a-text-normal::attr(href)').getall()
        for link in product_links: 
            yield response.follow(link, callback=self.parse_product)

        next_page = response.css('.a-last a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, callback=self.parse)



    def parse_product(self, response):
        specs = {}

        name = response.css('#productTitle::text').get()
        specs['name'] = self._validate_field(name)
        
        price_current = response.css('#priceblock_ourprice::text').get()
        specs['price_current'] = self._validate_field(price_current)

        price_original = response.css('.a-text-strike::text').get()
        specs['price_original'] = self._validate_field(price_original)

        reviews_number = response.css('#acrCustomerReviewText::text').get()
        specs['reviews_number'] = self._validate_field(reviews_number)
        
        seller = response.css('#bylineInfo::text').get()
        specs['seller'] = self._validate_field(seller)

        score = response.css('#acrPopover .a-icon-alt::text').get()
        specs['score'] = self._validate_field(score)

        rows = response.css('.pdTab table tr')
        if rows is not None:
            for row in rows:
                try:
                    column = row.css('td::text').getall()
                    specs[column[0]] = column[1]
                except IndexError:
                    pass
            del specs['Clasificación en los más vendidos de Amazon']
            del specs['ASIN']
        else:
            pass

        yield specs

Edwin Jesset Barrientos Gonzales

student•

#############

getArticulo&lt;- function(url){
  nombre&lt;-&quot;#productTitle&quot;
  pagina_web&lt;-read_html(url)
  nombre_nodo&lt;-html_node(pagina_web,nombre)
  nombre_texto&lt;-html_text(nombre_nodo)
  
  opiniones&lt;-&quot;#acrCustomerReviewText&quot;
  opiniones_nodo&lt;-html_node(pagina_web,opiniones)
  opiniones_texto&lt;-html_text(opiniones_nodo)
  
  precio&lt;-&quot;#priceblock_ourprice&quot;
  precio_nodo&lt;-html_node(pagina_web,precio)
  precio_texto&lt;-html_text(precio_nodo)
  
  
  tabla&lt;-&quot;#prodDetails &gt; div.wrapper.ESlocale &gt; div.column.col1 &gt; div:nth-child(1) &gt; div.content.pdClearfix &gt; div &gt; div &gt; table&quot;
  tabla_nodo&lt;-html_node(pagina_web,tabla)
  tabla_tab&lt;-html_table(tabla_nodo)
  class(tabla_tab)
  val&lt;-tabla_tab$X2
  res_tabla&lt;-data.frame(t(val))
  tabla_name&lt;-tabla_tab$X1
  colnames(res_tabla)&lt;-tabla_name
  res_tabla
  col&lt;-c(&quot;Peso del producto&quot;,&quot;Dimensiones del producto&quot;,&quot;Volumen&quot;,&quot;Potencia&quot;)
  if(length(res_tabla)==0){
    #no hay detalles todo a-1
    mitab&lt;-data.frame(colnames(col))
    mitab&lt;-rbind(mitab,c(&quot;-1&quot;,&quot;-1&quot;,&quot;-1&quot;,&quot;-1&quot;))
    colnames(mitab)&lt;-col
  }else{
    #Evaluar cada uno de los atributos
    zero&lt;-matrix(&quot;-1&quot;,ncol=4,nrow=1)
    dfzero&lt;-as.data.frame(zero)
    colnames(dfzero)&lt;-col
    peso&lt;-as.character(res_tabla$`Peso del producto`)
    if(length(peso)==0)peso&lt;-&quot;-1&quot;
    dim&lt;-as.character(res_tabla$`Dimensiones del producto`)
    if(length(dim)==0)dim&lt;-&quot;-1&quot;
    potencia&lt;-as.character(res_tabla$`Potencia`)
    if(length(potencia)==0)potencia&lt;-&quot;-1&quot;
    volumen&lt;-as.character(res_tabla$`Volumen`)
    if(length(volumen)==0)volumen&lt;-&quot;-1&quot;
    dfzero$`Peso del producto`&lt;-peso
    dfzero$`Dimensiones del producto`&lt;-dim
    dfzero$Volumen&lt;-volumen
    dfzero$Potencia&lt;-potencia
    mitab&lt;-dfzero
    colnames(mitab)&lt;-col
  
  }
  articulo&lt;-c(nombre_texto, precio_texto,opiniones_texto,as.character(mitab$`Peso del producto`[1]),
              as.character(mitab$`Dimensiones del producto`), as.character(mitab$Volumen),
              as.character(mitab$Potencia))
  articulo
}


res&lt;-getArticulo(vlinkAspiradora[321])

resultado_datos&lt;-sapply(vlinkAspiradora,getArticulo)

Demetrio Cumplido Narciso

student•

¡Vaya! Por mucho tiempo estuve intentando arreglar el último error y buscando respuestas en la Red, lo bueno que lo veremos en la siguiente clase. ¡Vamos para allá!

Juan Conde

student•

Alguien sabe por que me aparece character en vez factor?

David Lechugazteca Ma'tlaktli Sipakt

student•

sera el numero de peticiones a la url ? ? ? ?

ya no me la lee.... descarge el script de la prfesora e igual me aparecio mi NA :CCCCC

Xavier González

student•

Cuando en console se tiene que escribir res no me funciona pero lo demas si algueinsa be porque?

Me tendria que salir la señal de > pero me sale la de +

}else{

```
#Evaluar cada uno de los atributos
```
```
zero<-matrix("-1", ncol=4, nrow=1)
```
```
dfzero<-as.data.frame(zero)
```
```
colnames(dfzero)<-col
```

peso<-as.character(res_tablas$`Peso del producto`)

```
if(length(peso)==0) peso<-"-1"
```

dime<-as.character(res_tablas$`Dimensiones del producto`)

```
if(length(dime)==0) dime<-"-1"
```

potencia<-as.character(res_tablas$`Potencia del producto`)

```
if(length(potencia)==0) potencia<-"-1"
```

volumen<-as.character(res_tablas$`Volumen del producto`)

```
if(length(volumen)==0) volumen<-"-1"
```
```
dfzero$`Peso del producto`<-peso
```
```
dfzero$`Dimensiones del producto`<-dime
```
```
dfzero$`Volumen del producto`<-volumen
```

dfzero$`Potencia del producto`<-potencia

```
mitab<-dfzero
```
```
colnames(mitab)<-col
```
}
articulo<-c(nombre_texto, precio_texto, opiniones_texto, as.character(mitab$Peso del producto[1], as.character(mitab$Dimensiones del producto), as.character(mitab$Volumen del producto), as.character(mitab$Potencia del producto)))
}
res<-getArticulo(vlinkAspiradora[1])
resultado_Datos<-saply(vlinkAspiradora, getArticulo)
res
res

Miguel Angel Lemozx

student•

¿Y si deseo mapear los campos y los valores en ellos?

Dagoberto Porras Plata

student•

hay que estar muy pendiente en el nombre de los campos que describen los productos, para poder hacer match en el momento de la consulta

Jorge Osuna

student•

Me había aparecido un error en el que no me mostraba todas mis columnas, surgió este error debido a que mi scrapping no tiene tabla dentro del html. El error era: reached getOption("max.print") -- omitted 2 rows Lo solucioné ejecutando esto: options(max.print = .Machine$integer.max)

CLAUDIA CRISTINA APARICIO RUEDA

student•

interesante!

Platzerito De Platzi

student•

#Funcion que muestra info sobre una mascarilla n95
library(rvest)
url&lt;-&quot;https://www.amazon.es/TDORA-m%C3%A1scara-Activado-protecci%C3%B3n-Unidades/dp/B0856WFSXP/ref=sr_1_14?__mk_es_ES=%C3%85M%C3%85%C5%BD%C3%95%C3%91&amp;dchild=1&amp;keywords=mascarilla+n95&amp;qid=1587056172&amp;sr=8-14&quot;

getArticulo&lt;-function(url){
  pagina_web&lt;-read_html(url)
  nombre&lt;-&quot;#productTitle&quot;
  nombre_nodo&lt;-html_node(pagina_web, nombre)
  nombre_texto&lt;-html_text(nombre_nodo)
  nombre_texto
  
  opiniones&lt;-&quot;#acrCustomerReviewText&quot;
  opiniones_nodo&lt;-html_node(pagina_web, opiniones)
  opiniones_texto&lt;-html_text(opiniones_nodo)
  opiniones_texto
  
  precio&lt;-&quot;#priceblock_ourprice&quot;
  precio_nodo&lt;-html_node(pagina_web, precio)
  precio_texto&lt;-html_text(precio_nodo)
  precio_texto
  
  tabla&lt;-&quot;#prodDetails &gt; div.wrapper.ESlocale &gt; div.column.col1 &gt; div &gt; div.content.pdClearfix &gt; div &gt; div &gt; table&quot;

  tabla_nodo&lt;-html_node(pagina_web, tabla)
  if(!is.na(tabla_nodo)){ #SI el nodo no esta vacio!!!
    tabla_tab&lt;-html_table(tabla_nodo)
    tabla_tab
    val&lt;-tabla_tab$X2
    res_tabla&lt;-data.frame(t(val))
    tabla_name&lt;-tabla_tab$X1
    colnames(res_tabla)&lt;-tabla_name
  }
  col&lt;-c(&quot;Marca&quot;, &quot;Número de modelo&quot;, &quot;Color&quot;)
  if( is.na(tabla_nodo)){ #Si tabla nodo esta vacia
    #Rellenar con campos vacio
    mitab&lt;-data.frame(colnames(col))
    mitab&lt;-rbind(mitab, c(&quot;-1&quot;, &quot;-1&quot;, &quot;-1&quot;,&quot;-1&quot;))
    colnames(mitab)&lt;-col
  }else{
    #Evaluar cada uno de los campos
    zero&lt;-matrix(&quot;-1&quot;, ncol=4, nrow=1)
    dfzero&lt;-as.data.frame(zero)
    colnames(dfzero)&lt;-col
    dfzero
    marca&lt;-as.character(res_tabla$`Marca`)
    if(length(marca)==0) marca &lt;- &quot;-1&quot;
    numeroModelo&lt;-as.character(res_tabla$`Número de modelo`)
    if(length(numeroModelo)==0) numeroModelo&lt;- &quot;-1&quot;
    color&lt;-as.character(res_tabla$Color)
    if(length(color)==0) color&lt;- &quot;-1&quot;
    dfzero$Marca&lt;-marca
    dfzero$`Número de modelo`&lt;-numeroModelo
    dfzero$Color&lt;-color
    str(dfzero)
    mitab&lt;-dfzero
    colnames(mitab)&lt;-col
  }
  articulo&lt;-c(nombre_texto, as.character(mitab$`Marca`[1]), as.character(mitab$`Número de modelo`[1]), as.character(mitab$Color[1]), opiniones_texto, precio_texto)  
  articulo
}
getArticulo(url)

Juan Andres Quiroz Franco

student•

El inconveniente que yo tuve fue que en amazon.com a veces los títulos de la tabla son en inglés y a veces en español, entonces tuve que validar ambos casos para estos nombres

Leonardo Armando Simesen de Bielke

student•

Disculpe, una pregunta. No me queda claro por que en el minuto 11:45, linea 133 escribe:

mitab$'Peso del producto'[1]

Pero luego en los otros parametros este [1] se ve omitido. Muchas gracias

Automatización para obtener datos preprocesados

Basicos para el curso

Mundo Data Science

¿Qué hace un Data Scientist?

Introducción a R

Operaciones con datos: vectores, listas y matrices

Operaciones con datos: dataframe y ficheros

¿Qué es web scraping?

Visualización de datos

Presentación del proyecto

Web scraping con R

Intro paquete Rvest y descripción de ejercicio

Principales funciones de Rvest

HTML node

Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Obtención de URL de cada producto

Funciones Apply

Obtención de información de cada producto

Automatización para obtener datos preprocesados

Corrección de errores durante obtención de datos

Reto: Obtén datos de la liga española de fútbol

Adecuación y Análisis descriptivo de los datos

Adecuación de los datos, transformación y eliminación de NA

Procesamiento de datos

Adecuación al algoritmo K-means

Reto: Prepara los datos obtenidos

Aplicando modelo no supervisado: Kmeans

Cómo funciona el algoritmo K-means

Aplicando K-means a nuestro proyecto

Visualización de los clusters

Reto: Aplica el modelo K-means

Modelo en producción

Cómo hacer un punto de API con plumber en R

Poner nuestro modelo en tiempo real: revisión de distancias

Poner nuestro modelo en producción

Reto: Pon un modelo en producción

Representación de los resultados del modelo

Introducción a shiny y sus componentes

Mostrando los resultados de nuestro proyecto en Shiny

Reto:Representación de los resultados del modelo

Cierre del curso

Conclusiones