Encontrando K

Clase 8 de 27 • Curso de Clustering con Python y scikit-learn

Gerardo Jesus Ignacio Villacorta

student•

Aquí comparto un ejercicio con fines prácticos que hice para ver como se forma el codo y su respectiva silueta para cada 2 columnas de un total de 9 que tengo en mi dataset.

n = 2
total_columns = x.columns
combinations_n = list(combinations(total_columns,n))
i = 0
for combination in combinations_n:
    i +=1
    print('# iter: ',i)
    print(list(combination))
    x_n = x[list(combination)]
    sum_of_squared_distances = []
    silhouette_scores = []
    K = range(2,15)
    for k in K:
        km = KMeans(n_clusters=k)
        km = km.fit(x_n)
        sum_of_squared_distances.append(km.inertia_)

        km = KMeans(n_clusters=k)
        km = km.fit(x_n)
        y = km.predict(x_n)
        silhouette_scores.append(silhouette_score(x_n,y))


    plt.figure(figsize=(10,4))
    plt.subplot(121)
    plt.plot(K, sum_of_squared_distances, 'bx-')
    plt.xlabel('k')
    plt.ylabel('Inertia')
    plt.subplot(122)
    plt.plot(K, silhouette_scores, 'rx-')
    plt.xlabel('k')
    plt.ylabel('Silhouette')
    plt.show()

Juan R. Vergara M.

student•

Excelente ✔

Julián Cárdenas

student•

Muy buen aporte!!

Romel Manrique

student•

Una forma de calcular la inercia:

from scipy.spatial import distance
np.sum(np.min(distance.cdist(X, model.cluster_centers_), axis=1) ** 2)
[out]: 1389.028049083292

model.inertia_
[out]: 1389.028049083292

Juan R. Vergara M.

student•

Gracias amigo 👍

Julián Cárdenas

student•

Buen aporte!

Juan R. Vergara M.

student•

Conocía la técnica del codo, más no la de silueta. Es bueno poder comparar ambos resultados 👏😎

JOHN EDISON LOZANO GONZÁLEZ

student•

Comparto código más simple para el coeficiente de silueta:

silhouette_scores = [silhouette_score(X, KMeans(n_clusters=k).fit(X).labels_) for k in range(2,15)]

plt.figure(figsize=(8,8))
plt.plot(K, silhouette_scores, 'bx-')
plt.xlabel('k')
plt.ylabel('silhouette_score')
plt.show()

Mario Alexander Vargas Celis

student•

Para encontrar el número óptimo de clusters (K) al usar K-Means, existen varios métodos. Aquí te explico los principales y te doy ejemplos prácticos para que los implementes fácilmente:

✅ 1. Elbow Method (Método del Codo)

¿Qué hace?

Mide la inercia (dentro del grupo de errores cuadrados - SSE) para distintos valores de K y busca el "codo" donde la mejora se estabiliza.

Código:

from sklearn.cluster import KMeans import matplotlib.pyplot as plt from sklearn.datasets import make_blobs

# Datos simulados para el ejemplo X, _ = make_blobs(n_samples=300, centers=5, random_state=42)

inertia = []

K_range = range(1, 11) for k in K_range: kmeans = KMeans(n_clusters=k, random_state=42) kmeans.fit(X) inertia.append(kmeans.inertia_)

plt.plot(K_range, inertia, 'bo-') plt.xlabel('Número de Clusters (k)') plt.ylabel('Inercia') plt.title('Método del Codo') plt.show()

🔍 Busca el punto donde la curva se "dobla", como un codo.

✅ 2. Silhouette Score

¿Qué hace?

Mide qué tan bien separados están los clusters. Cuanto mayor el valor (cerca de 1), mejor separados y definidos están.

Código:

from sklearn.metrics import silhouette_score

silhouette_scores = []

K_range = range(2, 11) # Comienza desde 2 porque Silhouette no está definido para k=1 for k in K_range: kmeans = KMeans(n_clusters=k, random_state=42) labels = kmeans.fit_predict(X) score = silhouette_score(X, labels) silhouette_scores.append(score)

plt.plot(K_range, silhouette_scores, 'go-') plt.xlabel('Número de Clusters (k)') plt.ylabel('Silhouette Score') plt.title('Puntaje de Silhouette') plt.show()

✅ El valor óptimo de k es donde el Silhouette Score es más alto.

✅ 3. Usando Yellowbrick (si lo logras instalar)

from yellowbrick.cluster import KElbowVisualizer from sklearn.cluster import KMeans

model = KMeans(random_state=42) visualizer = KElbowVisualizer(model, k=(1,10), metric='silhouette', timings=False) visualizer.fit(X) visualizer.show()

¿Qué método elegir?

MétodoIdeal cuando...ElbowQuieres ver el punto donde el "beneficio" se estabilizaSilhouette ScoreQuieres evaluar la calidad de los clustersYellowbrickQuieres automatizar visualmente el análisis (requiere instalación correcta)

Alfonso Andres Zapata Guzman

student•

Tomando del ejemplo de la clase, pudiera haberse dado el caso hipotetico en que tuviera mejor silhouette score, tres cluster por sobre cuatro cluster? esto para saber si siempre es necesario la doble validacion o por ejemplo si es para casos puntuales en que este muy reñido la grafica del codo?

Juan Esteban

student•

Claro, eso fue lo que me pasó cuando repliqué el ejercicio de la clase anterior, como lo comenté aquí

Alfonso Andres Zapata Guzman

student•

Si, es que daba la impresion a leguas, en definittiva el siluette score es referencial en muchos casos.

Ve como que los siluete score con diferentes metodos no refleja que el mejor score sea la mejor opcion.

Camilo Corredor

student•

¿Qué pasa cuando el valor encontrado en el método del codo no corresponde con el coeficiente de Silueta?

Tengo en el método del codo un valor óptimo entre [4 y 5] y en el coeficiente de silueta un valor > 40?

Alarcon7a

student•

40 clusters suelen ser muchos en la mayoría de los casos

Claudio Caniullan Calfin

student•

Una vez generado los cluester ¿Cómo determino que es lo que caracteriza a cada cluster? ¿Que carateristtica tiene un cluster que no tienen los otros?

Juan José Mamani Tarqui

student•

INERCIA = Suma de errores cuadraticos o distancias cuadraticas

Excelente clase :)

JOHN EDISON LOZANO GONZÁLEZ

student•

Compartir código más simple para el método del codo:

sum_of_squared_distances = [KMeans(n_clusters=k).fit(X).inertia_ for k in range(2, 15)]

plt.figure(figsize=(8, 8))
plt.plot(range(2, 15), sum_of_squared_distances, 'bx-')
plt.xlabel('k')
plt.ylabel('Inertia')
plt.show()

Luis Ernesto Domínguez Velásquez

student•

Coeficiente de Silueta https://medium.com/@jonathanrmzg/k-means-elbow-method-and-silhouette-e565d7ab87aa

n = 2
total_columns = x.columns
combinations_n = list(combinations(total_columns,n))
i = 0
for combination in combinations_n:
    i +=1
    print('# iter: ',i)
    print(list(combination))
    x_n = x[list(combination)]
    sum_of_squared_distances = []
    silhouette_scores = []
    K = range(2,15)
    for k in K:
        km = KMeans(n_clusters=k)
        km = km.fit(x_n)
        sum_of_squared_distances.append(km.inertia_)

        km = KMeans(n_clusters=k)
        km = km.fit(x_n)
        y = km.predict(x_n)
        silhouette_scores.append(silhouette_score(x_n,y))


    plt.figure(figsize=(10,4))
    plt.subplot(121)
    plt.plot(K, sum_of_squared_distances, 'bx-')
    plt.xlabel('k')
    plt.ylabel('Inertia')
    plt.subplot(122)
    plt.plot(K, silhouette_scores, 'rx-')
    plt.xlabel('k')
    plt.ylabel('Silhouette')
    plt.show() 

silhouette_scores = [silhouette_score(X, KMeans(n_clusters=k).fit(X).labels_) for k in range(2,15)]

plt.figure(figsize=(8,8))
plt.plot(K, silhouette_scores, 'bx-')
plt.xlabel('k')
plt.ylabel('silhouette_score')
plt.show()

sum_of_squared_distances = [KMeans(n_clusters=k).fit(X).inertia_ for k in range(2, 15)]

plt.figure(figsize=(8, 8))
plt.plot(range(2, 15), sum_of_squared_distances, 'bx-')
plt.xlabel('k')
plt.ylabel('Inertia')
plt.show()

Encontrando K

Fundamentos de clustering

¿Qué es el clustering en machine learning?

Tu primer clustering con scikit-learn

¿Cuándo usar clustering?

¿Cómo evaluar modelos de clustering?

K-means

¿Qué es el algoritmo de K-means y cómo funciona?

¿Cuándo usar K-means?

Implementando K-means

Encontrando K

Evaluando resultados de K-means

Hierarchical clustering

¿Qué es hierarchical clustering y cómo funciona?

¿Cuándo usar hierarchical clustering?

Implementando hierarchical clustering

Evaluando resultados de hierarchical clustering

DBSCAN

¿Qué es DBSCAN y cómo funciona?

¿Cuándo usar DBSCAN?

Implementando DBSCAN

Encontrar híper-parámetros

Evaluando resultados de DBSCAN

Proyecto: resolviendo un problema con clustering

Preparar datos para clusterizar

Aplicando PCA para clustering

Resolviendo con K-means

Resolviendo con hierarchical clustering

Resolviendo con DBSCAN

Resolviendo con DBSCAN (sin PCA)

Evaluación resultados de distintos modelos de clustering

Conclusiones

Proyecto final y cierre

Comparte tu proyecto de segmentación con clustering y certifícate