Aplicando K-means a nuestro proyecto

Clase 24 de 34 • Curso Profesional de Ciencia de Datos 2019

Contenido del curso

Basicos para el curso

Web scraping con R

Adecuación y Análisis descriptivo de los datos

Aplicando modelo no supervisado: Kmeans

Modelo en producción

Representación de los resultados del modelo

Cierre del curso

34
Conclusiones
00:58 min

Tomar examen

Comentarios

Gonzalo Muñoz

student•

Como acotación, para guardar su DF pueden almacenarlo en disco como un csv fácilmente:

write.csv(coffeemaker, file="rutarchivo\\cafeteras_clean_data.csv")

Y leerlo así:

cafeteras<- read.csv("rutaarchivo\\cafeteras_clean_data.csv")```

Andrés Naranjo Z.

student•

Por que se debe escalar las variables? Que efecto tiene esto en los datos y siempre se debe hacer?

Andrés Felipe Rubiano Moreno

student•

En general si se debe hacer siempre ya que facilita el proceso. cuando tiene n features/variables en la mayoría de casos estas van a tener rangos muy diferentes, algunas pueden ser muy pequeñas cercanas a 0, y otras pueden ser exageradamente grandes. Es muy raro encontrarse con un set de datos donde las variables compartan un rango similar. Cuando intente graficar estas variables se va a encontrar con que los ejes se van a distorsionar excesivamente, ya que por ejemplo si los datos tuvieran una forma circular y un eje es varios ordenes de magnitud más grande que otro la gráfica se vería como un ovalo, cuando los datos son normalizados la gráfica volvería a verse similar a un circulo, por lo tanto la forma/topología de los datos se ve afectada por este proceso. Escalar los datos toma mucha importancia al momento de optimizar ya que matemáticamente no tiene que tratar con una forma distorsionada, que es sensible a pequeños cambios de las variables de entrada, sino con una forma más "regular" ( escribo regular entre comillas por que esto no solo depende de escalar los features, sino del problema que se trata y los mismos features como tal) que facilita el proceso y mejora el resultado en comparación a su contraparte.

Juan Carlos Rubio Polania

student•

No he terminado la clase pero por qué 2:20

JAVIER SANTIAGO SALGADO

student•

data <- res_limpio
View(data)
data <- data[,-1]
data <-scale(data)

mycluster <- kmeans(data, 3, nstart = 5, iter.max = 30)

mycluster$iter
mycluster$size
mycluster$centers
mycluster$withinss

wss <- (nrow(data-1)) * sum(apply(data, 2, var))
for(i in 2:10) wss[i] <- sum(kmeans(data, centers = i)$withinss)
wss
plot(1:17, wss, type='b', xlab='Numero clusters', ylab = 'withinss groups')

jhon Gutierrez

student•

cuantas iteraciones se debe realizar?

Miguel Rodríguez

student•

Problema!! en mi data frame de jugadores, cuando escalo, varios datos se convierten en NA's y no puedo usar kmeans

Geovany Uribe Aguirre

student•

No haremos nada con los datos atípicos?

Edwin Jesset Barrientos Gonzales

student•


##Aplicando K-means
data&lt;-res_limpio
data&lt;-data[,-1]
data&lt;-scale(data)
mycluster&lt;-kmeans(data,3,nstart=5,iter.max=30)
wss&lt;-(nrow(data)-1)*sum(apply(data,2,var))
for(i in 2:20) wss[i]&lt;-sum(kmeans(data,centers=i)$withinss)
wss
plot(1:20, wss, type=&quot;b&quot;,xlab=&quot;Numero de clusters&quot;, ylab = &quot;withinss groups&quot;)```

CLAUDIA CRISTINA APARICIO RUEDA

student•

interesante!

data <- res_limpio
View(data)
data <- data[,-1]
data <-scale(data)

mycluster <- kmeans(data, 3, nstart = 5, iter.max = 30)

mycluster$iter
mycluster$size
mycluster$centers
mycluster$withinss

wss <- (nrow(data-1)) * sum(apply(data, 2, var))
for(i in 2:10) wss[i] <- sum(kmeans(data, centers = i)$withinss)
wss
plot(1:17, wss, type='b', xlab='Numero clusters', ylab = 'withinss groups')

##Aplicando K-means
data&lt;-res_limpio
data&lt;-data[,-1]
data&lt;-scale(data)
mycluster&lt;-kmeans(data,3,nstart=5,iter.max=30)
wss&lt;-(nrow(data)-1)*sum(apply(data,2,var))
for(i in 2:20) wss[i]&lt;-sum(kmeans(data,centers=i)$withinss)
wss
plot(1:20, wss, type=&quot;b&quot;,xlab=&quot;Numero de clusters&quot;, ylab = &quot;withinss groups&quot;)```

Aplicando K-means a nuestro proyecto

Basicos para el curso

Mundo Data Science

¿Qué hace un Data Scientist?

Introducción a R

Operaciones con datos: vectores, listas y matrices

Operaciones con datos: dataframe y ficheros

¿Qué es web scraping?

Visualización de datos

Presentación del proyecto

Web scraping con R

Intro paquete Rvest y descripción de ejercicio

Principales funciones de Rvest

HTML node

Rvest en nuestro proyecto de Amazon. Recopilación de paginación

Obtención de URL de cada producto

Funciones Apply

Obtención de información de cada producto

Automatización para obtener datos preprocesados

Corrección de errores durante obtención de datos

Reto: Obtén datos de la liga española de fútbol

Adecuación y Análisis descriptivo de los datos

Adecuación de los datos, transformación y eliminación de NA

Procesamiento de datos

Adecuación al algoritmo K-means

Reto: Prepara los datos obtenidos

Aplicando modelo no supervisado: Kmeans

Cómo funciona el algoritmo K-means