¿Qué es hierarchical clustering y cómo funciona?

Clase 10 de 27 • Curso de Clustering con Python y scikit-learn

Clase anteriorSiguiente clase

Santiago Ahumada Lozano

student•

Método Ward

Se utiliza en agrupamiento jerárquico de tipo Aglomerativo.
Por tanto, es un criterio para indicar como se deben aglomerar los clusters.
Su criterio fundamental es el de mínima varianza, es decir, su objetivo es que tras agrupar y conseguir nuevos clusters, La varianza dentro de cada cluster se la mínima posible. La función a minimizar es entonces, la suma de las varianzas de cada cluster.
Según lo anterior, en cada iteración, el algoritmo clusteriza de manera que se genere el menor aumento de varianza a la varianza total. Fuente: Statitstics.com

Giovany samaca

student•

Gran aporte para entender un poco mas la clase

Juan R. Vergara M.

student•

Excelente aporte amigo 🦾📝

Darrien Sequera

student•

El clustering jerárquico es un método de aprendizaje automático no supervisado que se utiliza para agrupar datos en función de su similitud. El algoritmo funciona creando una jerarquía de grupos, comenzando con cada punto de datos como su propio grupo y luego combinando los grupos más similares hasta que solo queda un grupo.

Hay dos tipos principales de clustering jerárquico:

Aglomerativo: Este enfoque comienza con cada punto de datos como su propio grupo y luego combina los grupos más similares hasta que solo queda un grupo. El algoritmo puede usar una variedad de medidas de similitud para determinar qué grupos combinar.
Divisivo: Este enfoque comienza con todos los datos en un solo grupo y luego divide el grupo en dos grupos más pequeños, repitiendo el proceso hasta que cada punto de datos esté en su propio grupo. El algoritmo puede usar una variedad de medidas de distancia para determinar cómo dividir los grupos.

El clustering jerárquico se puede utilizar para una variedad de tareas, incluidas:

Segmentación de clientes: Se puede utilizar para dividir a los clientes en grupos basados en sus características y comportamiento.
Clasificación de imágenes: Se puede utilizar para clasificar imágenes en grupos basados en su contenido.
Análisis de redes sociales: Se puede utilizar para identificar grupos de personas que interactúan entre sí.

Cómo funciona el clustering jerárquico

El clustering jerárquico funciona creando una jerarquía de grupos, comenzando con cada punto de datos como su propio grupo. Luego, el algoritmo combina los grupos más similares hasta que solo queda un grupo.

Hay dos pasos principales involucrados en el clustering jerárquico:

Mide la similitud entre los grupos: El algoritmo debe medir la similitud entre los grupos para determinar cuáles combinar. Hay una variedad de medidas de similitud que se pueden utilizar, como la distancia euclidiana, la distancia manhattan y la distancia coseno.
Combina los grupos más similares: El algoritmo combina los grupos más similares, basándose en la medida de similitud que se utiliza. El algoritmo continúa combinando los grupos más similares hasta que solo queda un grupo.

Ventajas y desventajas del clustering jerárquico

El clustering jerárquico tiene una serie de ventajas y desventajas.

Ventajas:

Es un método flexible que se puede utilizar para una variedad de tareas.
Es relativamente fácil de implementar.
Puede proporcionar una representación visual de los grupos de datos.

Desventajas:

Puede ser difícil determinar el número óptimo de grupos.
Puede ser sensible a la elección de la medida de similitud.

¿Cómo elegir el número óptimo de grupos?

Una de las principales desventajas del clustering jerárquico es que puede ser difícil determinar el número óptimo de grupos. Hay una serie de métodos que se pueden utilizar para abordar este problema, como:

Criterio de codo: Este método identifica el punto en el que la curva de la distancia intracluster deja de disminuir rápidamente.
Criterio de silueta: Este método mide la similitud de cada punto de datos con sus vecinos del mismo grupo y con sus vecinos de otros grupos.
Criterio de información: Este método mide la cantidad de información que se puede obtener sobre la pertenencia a un grupo a partir de las características de los datos.

Conclusión

El clustering jerárquico es un método poderoso que se puede utilizar para agrupar datos en función de su similitud. Es un método flexible que se puede utilizar para una variedad de tareas, pero es importante tener en cuenta sus limitaciones, como la dificultad de determinar el número óptimo de grupos.

https://bard.google.com/

Alejandro Collado Valverde

student•

Pasos Básicos del Hierarchical Clustering: Calcular las Distancias:

Comienza calculando la matriz de distancias entre todos los pares de puntos en tus datos. Puedes usar diversas métricas de distancia, como la euclidiana, la manhattan o la correlación, según la naturaleza de tus datos. Asignar cada Punto a un Clúster Inicial:

Inicialmente, cada punto se asigna a su propio clúster. **Encontrar los Clústeres más Cercanos: ** Encuentra los dos clústeres más cercanos según la matriz de distancias. La elección de la medida de distancia y del método de enlace (cómo se mide la distancia entre clústeres) puede variar y afectar los resultados. Fusionar los Clústeres:

Fusiona los dos clústeres más cercanos en uno nuevo. Ahora, en lugar de dos puntos individuales, tienes un clúster que representa a ambos. Actualizar la Matriz de Distancias:

Recalcula la matriz de distancias para reflejar la fusión de clústeres. Puedes utilizar diferentes métodos, como el enlace simple, el enlace completo o el enlace promedio, para determinar cómo se calcula la distancia entre clústeres. Repetir:

Repite los pasos 3-5 hasta que todos los puntos estén en un solo clúster o hasta que se cumpla algún criterio de parada, como un número específico de clústeres deseados.

Mario Alexander Vargas Celis

student•

El Hierarchical Clustering (o clustering jerárquico) es un algoritmo de agrupamiento no supervisado que construye una jerarquía de clusters, es decir, una estructura en forma de árbol que muestra cómo se agrupan los datos.

🔍 ¿Cómo funciona?

Existen dos enfoques principales:

1. Agglomerative (aglomerativo) – de abajo hacia arriba 👇

El más común.
Cada punto de datos comienza como su propio cluster.
En cada paso, los dos clusters más cercanos se fusionan.
Esto se repite hasta que todos los puntos están en un solo cluster o se cumple un criterio.

2. Divisive (divisivo) – de arriba hacia abajo 👆

Todos los datos comienzan en un único gran cluster.
En cada paso, se divide el cluster más grande hasta que cada punto es su propio cluster.

🧠 ¿Cómo decide qué clusters unir o dividir?

El algoritmo usa una métrica de distancia entre clusters. Algunas comunes son:

MétodoQué midesingleDistancia mínima entre puntos de clusterscompleteDistancia máxima entre puntos de clustersaveragePromedio de todas las distanciaswardMinimiza la varianza total dentro de los clusters (muy usada)

📈 Representación: Dendrograma

El resultado se visualiza como un dendrograma, un diagrama en forma de árbol que muestra cómo se fusionan (o dividen) los clusters a medida que cambia la distancia.

from scipy.cluster.hierarchy import dendrogram, linkage import matplotlib.pyplot as plt

linked = linkage(X, method='ward') # o 'single', 'average', etc. dendrogram(linked) plt.title("Dendrograma de Clustering Jerárquico") plt.xlabel("Puntos de datos") plt.ylabel("Distancia") plt.show()

✅ ¿Cuándo usarlo?

Cuando quieres ver la estructura jerárquica de los datos.
Cuando el número de clusters no es conocido de antemano.
Para datos con pocos puntos (porque no escala bien con muchos datos).

❌ Desventajas

Lento en datasets grandes (O(n^3)).
Puede ser sensible a ruido y outliers.
No permite reorganizar clusters una vez creados.

Alberto Duque Villegas

student•

WARD:

Explicado por Chat GPT: Tienes razón. Primero se calcula la SSE de cada cluster individualmente antes de calcular el incremento al fusionarlos. Aquí está el paso a paso corregido:

1. **Concepto Principal:**

- Ward linkage busca minimizar la suma de las varianzas dentro de cada cluster. Se enfoca en reducir el aumento de la suma de los errores cuadráticos (SSE) al fusionar clusters.

2. **Paso a Paso:**

1. **Inicialización:**

- Comienza con cada punto de datos como su propio cluster.

2. **Cálculo de la Suma de Cuadrados (SSE) Individual:**

- Para cada cluster, calcula la SSE sumando las diferencias cuadradas entre cada punto del cluster y la media del cluster.

3. **Cálculo del Incremento en la SSE:**

- Para cada par de clusters, calcula el aumento en la SSE que resultaría de fusionarlos.

4. **Fusión de Clusters:**

- Fusiona los dos clusters cuya combinación produce el menor incremento en la SSE.

- Este paso asegura que la fusión resulta en el menor aumento posible en la varianza dentro de los clusters.

5. **Repetición:**

- Repite los pasos 2 a 4 hasta que todos los puntos estén en un solo cluster o se alcance el número deseado de clusters.

3. **Ejemplo Simplificado:**

- Imagina tres puntos de datos: A, B, y C.

- Calcula la SSE para cada cluster individual (A, B, y C).

- Luego, calcula la SSE para cada posible par de clusters (A y B, A y C, B y C) y el incremento en SSE al fusionarlos.

- Supongamos que la fusión de A y B tiene el menor aumento en SSE.

- Fusiona A y B en un solo cluster.

- Luego, calcula la SSE para los clusters restantes (AB y C) y fusiona el par que minimiza el incremento en SSE.

- Continúa el proceso hasta que todos los puntos estén en un solo cluster.

Este método asegura que en cada paso, los clusters fusionados resulten en la menor pérdida posible de homogeneidad, manteniendo los clusters lo más compactos y homogéneos posible.

Alberto Duque Villegas

student•

Chat GPT: Por supuesto, aquí tienes las definiciones precisas y cortas:

1. **Simple Linkage (Enlace Simple):** Método de agrupamiento jerárquico que define la distancia entre dos clusters como la distancia mínima entre cualquier par de puntos, uno de cada cluster.

2. **Complete Linkage (Enlace Completo):** Método de agrupamiento jerárquico que define la distancia entre dos clusters como la distancia máxima entre cualquier par de puntos, uno de cada cluster.

3. **Average Linkage (Enlace Promedio):** Método de agrupamiento jerárquico que define la distancia entre dos clusters como el promedio de las distancias entre todos los pares de puntos, uno de cada cluster.

¿Qué es hierarchical clustering y cómo funciona?

Fundamentos de clustering

¿Qué es el clustering en machine learning?

Tu primer clustering con scikit-learn

¿Cuándo usar clustering?

¿Cómo evaluar modelos de clustering?

K-means

¿Qué es el algoritmo de K-means y cómo funciona?

¿Cuándo usar K-means?

Implementando K-means

Encontrando K

Evaluando resultados de K-means

Hierarchical clustering

¿Qué es hierarchical clustering y cómo funciona?

¿Cuándo usar hierarchical clustering?

Implementando hierarchical clustering

Evaluando resultados de hierarchical clustering

DBSCAN

¿Qué es DBSCAN y cómo funciona?

¿Cuándo usar DBSCAN?

Implementando DBSCAN

Encontrar híper-parámetros

Evaluando resultados de DBSCAN

Proyecto: resolviendo un problema con clustering

Preparar datos para clusterizar

Aplicando PCA para clustering

Resolviendo con K-means

Resolviendo con hierarchical clustering

Resolviendo con DBSCAN

Resolviendo con DBSCAN (sin PCA)

Evaluación resultados de distintos modelos de clustering

Conclusiones

Proyecto final y cierre

Comparte tu proyecto de segmentación con clustering y certifícate