Aprendizaje No Supervisado: Clustering con K-means
Contenido del curso
Axel Yaguana
Team Platzi
Juan R. Vergara M.
Miguel Acosta
Gian HM
Julián Cárdenas
Patricio Sánchez Fernández
Mauricio Combariza
Pedro Quiñonez Verdugo
Julián Cárdenas
Alberto Duque Villegas
Tomas Dale
Sebastian Alejandro Gómez Ardila
Julián Cárdenas
Tomas Dale
Patricio Sánchez Fernández
Stanley Melgar
Julián Cárdenas
Claudia Alicia Bustamante
Dionicio Perez
Matías Collado
Dionicio Perez
Rodmy Suarez
Isaac Bryan Ascanoa Roncall
Juan José Mamani Tarqui
Valentina Cobo Paz
Jhon Freddy Tavera Blandon
Emmanuel Guerra Sánchez
K-Means performance
We can use elbow for optimal K method.
Thank you 👍
Simple but excellent
RESUMEN
Describe el enfoque de aprendizaje no supervisado llamado K-means, que busca encontrar una estructura en los datos mediante la asignación de puntos de datos a grupos específicos, conocidos como clusters. Para hacer esto, K-means utiliza centroides que representan cada cluster y se colocan inicialmente de manera aleatoria. El objetivo es actualizar la posición de los centroides encontrando la media de los puntos de datos que pertenecen a cada cluster, lo que permite actualizar la asignación de puntos de datos y los clusters. El parámetro más importante en K-means es el número de clusters, conocido como "K". Además, el texto menciona la función de coste que se busca optimizar durante la ejecución de K-means y la regla de actualización que se utiliza para actualizar los centroides. Por último, se describe un ejemplo visual que muestra cómo cambia la asignación de puntos de datos a clusters a lo largo de varias iteraciones.
Good summary
Gian, muchas gracias por el resumen. Felicitaciones..
Muy interesante, de esta forma puedo determinar una ruta optima para la entrega de muchos paquetes
Los centroides in k-means representan posiciones en el espacio que se supone que representan cada una de las features de entrada.
K-means itera y agrupa, dependiendo del tipo de conjuntos que quieras
Me parece una buena forma de comprender lo que hace cada algoritmo para que nuestro abordaje de los problemas, como científicos de datos, sea racional y explicable.
Tres ingredientes de un algoritmo:
Proceso de decisión: la forma en la que el modelo hace una predicción, generalmente mediante el uso de parámetros.
Función de coste: la forma en que la predicción del modelo se compara con el objetivo de salida o meta.
Regla de actualización: forma en la que el modelo actualiza y cambia sus parámetros para mejorar las predicciones.
Copienlo en Collab y pruebenlo k-means
from sklearn.cluster import KMeans import numpy as np from sklearn import datasets import pandas as pd
import matplotlib.pyplot as plt from sklearn import metrics
DATOS = datasets.load_wine()
DataTarget = DATOS.target
col_list = DATOS.feature_names DataToTrain = pd.DataFrame(DATOS.data, columns = col_list) print(col_list)
K_optimo = 0; Mejor = 0
for K in range(2,8):
# Variamos K model = KMeans(n_clusters= K, max_iter=1000) #Se entrena modelo model.fit(DataToTrain) y_labels = model.labels_ #Creamos prediccion y_kmeans = model.predict(DataToTrain) # Revisamos la precicion del modelo accuracy = metrics.adjusted_rand_score(DataTarget, y_kmeans) print(K,' ',accuracy) if accuracy > Mejor: K_optimo = K Mejor = accuracy
print('') print(f'Max accuracy: {round(Mejor,3)}% \nUsando K: {K_optimo} ')
K = K_optimo
model = KMeans(n_clusters= K, max_iter=1000) model.fit(DataToTrain)
y_labels = model.labels_
#Creamos prediccion y_means = model.predict(DataToTrain)
#GRAFIQUE 2 FEATURES PARA VER SI HAY RELACION
plt.scatter(DataToTrain['alcohol'], DataToTrain['hue'], c=y_means, s=30) plt.xlabel('Alcohol', fontsize = 10) plt.ylabel('Hue', fontsize = 10)
This video makes a good exposition about k means
Thanks!
Un saludo desde El Salvador, os dejo un ejemplo de K-means
from sklearn.cluster import KMeans import numpy as np from sklearn import datasets import pandas as pd
import matplotlib.pyplot as plt from sklearn import metrics
DATOS = datasets.load_wine()
DataTarget = DATOS.target
col_list = DATOS.feature_names DataToTrain = pd.DataFrame(DATOS.data, columns = col_list) print(col_list)
K_optimo = 0; Mejor = 0
for K in range(2,8):
# Variamos K model = KMeans(n_clusters= K, max_iter=1000) #Se entrena modelo model.fit(DataToTrain) y_labels = model.labels_ #Creamos prediccion y_kmeans = model.predict(DataToTrain) # Revisamos la precicion del modelo accuracy = metrics.adjusted_rand_score(DataTarget, y_kmeans) print(K,' ',accuracy) if accuracy > Mejor: K_optimo = K Mejor = accuracy
print('') print(f'Max accuracy: {round(Mejor,3)}% \nUsando K: {K_optimo} ')
#SEGUNDA PARTE PREDICCION #==========================
K = K_optimo
model = KMeans(n_clusters= K, max_iter=1000) model.fit(DataToTrain)
y_labels = model.labels_
#Creamos prediccion y_means = model.predict(DataToTrain)
GRAFIQUE 2 FEATURES
#====================
plt.scatter(DataToTrain['alcohol'], DataToTrain['hue'], c=y_means, s=30) plt.xlabel('Alcohol', fontsize = 10) plt.ylabel('Hue', fontsize = 10)
Felicitaciones Tomas Dale, gran aporte...!
Un hilo interesante a leer sobre el uso del Elbow Plot ~
BUEN HILOOO!
Hola a todos como validan el numero de k-means clusters que es optimo para un dataset? se hace en base a la distancia euclidiana?
La elección correcta del parámetro k en el algoritmo k-means es un paso importante para obtener resultados significativos y útiles. Aquí te presento algunos métodos comunes para seleccionar el valor óptimo de k:
Método del codo (Elbow Method): Este método evalúa la varianza dentro de los grupos en función de k. Se ejecuta el algoritmo k-means para diferentes valores de k y se calcula la suma de las distancias al cuadrado de cada punto a su centroide más cercano (también conocida como la inercia). Luego, se traza un gráfico de la inercia en función de k y se busca el punto en el que la mejora en la inercia comienza a disminuir significativamente, formando una curva con forma de "codo". Ese punto se considera como el valor óptimo de k.
Método de la silueta (Silhouette Method): Este método evalúa la cohesión dentro de los grupos y la separación entre los grupos. Se calcula el coeficiente de silueta para cada punto, que es una medida de qué tan bien se encuentra un punto dentro de su grupo en comparación con los otros grupos. Luego, se calcula el promedio del coeficiente de silueta para todos los puntos y se repite el proceso para diferentes valores de k. El valor de k que maximice el coeficiente de silueta se considera como el valor óptimo.
Método de validación externa: En algunos casos, puedes tener información externa o etiquetas de clase para evaluar la calidad del agrupamiento. Puedes ejecutar el algoritmo k-means para diferentes valores de k y luego utilizar métricas de evaluación externa, como el índice de Rand ajustado (Adjusted Rand Index) o el índice de Jaccard ajustado (Adjusted Jaccard Index), para medir la similitud entre los grupos obtenidos y las etiquetas de clase reales. El valor de k que produzca el mejor ajuste con las etiquetas de clase se considera como el valor óptimo.
Es importante tener en cuenta que no existe un método definitivo para elegir el valor óptimo de k, y la elección puede depender del contexto y la naturaleza de los datos. También se recomienda realizar pruebas y análisis adicionales para validar y comprender los resultados obtenidos con diferentes valores de k.
Además de estos métodos, también se pueden utilizar enfoques más avanzados, como algoritmos de agrupamiento jerárquico, análisis de componentes principales (PCA) o técnicas de reducción de dimensionalidad, para ayudar en la selección de k.
Pero para actualizar centroides usando el promedio de las distancias entre puntos y centroides del cluster, ¿como se mueve el centroide hacia una mejor ubicación?
La explicación en un comentario sería muy larga, por lo cual te recomiendo el siguiente video: Una aproximación al k-means. Este video es para entender como funciona y en el que le sigue se explica el código en python.
Estoy impresionado con el uso de K-means. Es un dato a tener en cuenta. Ademas, su desarrollo permite mejorar el aprendizaje de este.
I think this guy explain very easy about the topic.
He usado en diferentes ejercicios este data set y solamente conocía que eran diferentes especies de un mismo genero de plantas, acá esta la historia del origen de este dataset y para que fue pensando inicialmente. Es una buena practica entender de donde provienen nuestros datos. https://towardsdatascience.com/the-iris-dataset-a-little-bit-of-history-and-biology-fb4812f5a7b5
Los algoritmos de aprendizaje no supervisado son un tipo de algoritmo de aprendizaje automático que se utiliza cuando no se dispone de etiquetas o valores en los datos de entrada. A diferencia de los algoritmos de aprendizaje supervisado que se utilizan para problemas de clasificación y regresión, los algoritmos de aprendizaje no supervisado se centran en encontrar patrones, estructuras ocultas o agrupaciones en los datos sin ninguna orientación previa.
Los algoritmos de clustering son utilizados para determinar si un artículo es sensaionalista o no (fake news)
