Estrategias de Clustering

Estrategias de Clustering

Los algoritmos de clustering son las estrategias que podemos usar para agrupar los datos de tal manera que todos los datos pertenecientes a un grupo sean lo más similares que sea posible entre sí, y lo más diferentes a los de otros grupos.

Casos de aplicación de clustering.

1. No conocemos con anterioridad las etiquetas de nuestros datos (Aprendizaje no supervisado).
2. Queremos descubrir patrones ocultos a simple vista.
3. Queremos identificar datos atípicos.

Casos de uso de aplicación:

1. Cuando sabemos cuántos grupos “k” queremos en nuestro resultado.

   Si es el caso, por ejemplo en una empresa de marketing y sabemos que los segmentos de clientes es bajo, medio alto, en este caso es recomendable usar k-means, o bien, spectral clustering.

2. Cuando queremos que el algoritmo descubra la cantidad de grupos “k” óptima según los datos que tenemos.

   Por otro lado si no conocemos cuantos grupos o cuantas categories tenemos y solo queremos experimenter, la solución puede ser Meanshift, clustering jerárquico o DBScan.

Algoritmos de clustering:

Referencias

Comparing different clustering algorithms on toy datasets - scikit-learn.org

En esta clase sobre "Estrategias de Clustering", se exploró el aprendizaje no supervisado, donde se busca identificar patrones ocultos en los datos. Se discutieron dos enfoques: cuando se conocen o no el número de grupos (K). Se mencionaron algoritmos como K-means y clustering jerárquico. Los casos de uso incluyen segmentación de clientes y detección de valores atípicos. La clase enfatizó la importancia de estas técnicas para descubrir información valiosa en los modelos de Machine Learning.

***En pocas palabras:*** ### Si conocemos k: 1. **K-Means**: * **Definición**: Algoritmo de clustering que agrupa los datos en kkk clusters definidos por el usuario. Cada cluster se representa por su centroide, y los puntos se asignan al cluster con el centroide más cercano. * **Características**: * Funciona bien con datos esféricos y de tamaño similar. * Necesita que el número de clusters sea definido previamente. * Sensible a outliers y la elección inicial de los centroides. 2. **Spectral Clustering**: * **Definición**: Algoritmo que transforma los datos en un espacio de baja dimensión utilizando la descomposición de valores propios de una matriz de afinidad. Luego aplica K-Means en este espacio reducido. * **Características**: * Ideal para clusters que no son necesariamente esféricos. * Puede capturar relaciones no lineales entre los puntos. * Requiere la construcción de una matriz de similitud, lo que puede ser costoso en términos de memoria. ### Si no conocemos k: 1. **MeanShift**: * **Definición**: Algoritmo basado en densidad que encuentra clusters desplazando puntos de datos hacia las regiones de mayor densidad. No requiere que se especifique el número de clusters. * **Características**: * Se adapta bien a clusters de diferentes formas y tamaños. * No necesita especificar kkk, ya que busca "modos" en la distribución de los datos. * Puede ser computacionalmente costoso para grandes conjuntos de datos. 2. **Clustering Jerárquico**: * **Definición**: Agrupa los datos en una estructura jerárquica basada en distancias entre los puntos. Puede ser aglomerativo (comenzando con cada punto como su propio cluster y fusionándolos) o divisivo (empezando con todos los puntos en un solo cluster y dividiéndolos). * **Características**: * No requiere especificar el número de clusters de antemano. * Genera una dendrograma, lo que permite ver múltiples niveles de agrupación. * Puede ser costoso en términos de tiempo de ejecución para grandes conjuntos de datos. 3. **DBSCAN (Density-Based Spatial Clustering of Applications with Noise)**: * **Definición**: Algoritmo de clustering basado en la densidad de puntos. Agrupa puntos que están densamente conectados y considera los puntos aislados como outliers. * **Características**: * No requiere especificar el número de clusters. * Robusto frente a outliers y funciona bien con clusters de forma arbitraria. * Depende de dos parámetros importantes: ϵ\epsilonϵ (distancia máxima para considerar un punto parte de un cluster) y `min_samples` (número mínimo de puntos en un cluster).

![]()![]()ESTRATEGIAS DE CLUSTERING Los algoritmos de clustering son las estrategias que podemos usar para agrupar los datos de tal manera que todos los datos pertenecientes a un grupo sean lo más similares que se posible entre sí, y lo más diferentes a los de otros grupos. Estas estrategias se usan en el tipo de aprendizaje no supervisado, dado que no tenemos mayor información de nuestros datos y más bien lo que buscamos es descubrir los patrones internos que no son fáciles de entender a simple vista, es aquí donde las estrategias de CLUSTERING cobran mayor importancia. En sencillas palabras, Clustering no es más que agrupación de nuestros datos, buscar este tipo de agrupaciones nos puede ayudar a encontrar patrones que no son visibles y que seguramente nos van a revelar temas muy importantes que luego podemos utilizar en nuestros modelos de machine learning . EL PROBLEMA DEL CLUSTERING Algunos casos de aplicación de clustering. * No conocemos con anterioridad las etiquetas de nuestros datos (Aprendizaje no supervisado) para una clasificación de nuestros datos y queremos ver en cuantos grupos podrían clasificarse. * Queremos descubrir patrones ocultos a simple vista acerca de la estructura y cómo se relacionan entre ellos. * Queremos identificar datos atípicos, valores que están muy por fuera de los centros comunes que pueden tener nuestros datos DOS CASOS DE APLICACIÓN * Cuando sabemos cuántos grupos “K” queremos al final en nuestro resultado. * Cuando queremos que el algoritmo descubra la cantidad de grupos “K” óptima según los datos que tenemos. CLUSTERING * Si conocemos k, usaremos k-means, o bien, Spectral Clustering. * Si no conocemos k, usaremos MeanShift, Clustering jerárquico o bien DBScan.

Para repasar el cluster KMeans, dado que en estas clases solo se ve MiniBatchKMeans y MeanShift:

• Curso de Fundamentos Prácticos de ML: https://platzi.com/clases/1708-fundamentos-ml/23062-que-es-k-means/
• Un par de artículos para ver ejemplos:
  • https://towardsdatascience.com/k-means-clustering-with-scikit-learn-6b47a369a83c
  • https://www.aprendemachinelearning.com/k-means-en-python-paso-a-paso/

En resumen

Las estrategias de clustering pueden variar en complejidad y aplicabilidad según el problema. La elección del algoritmo adecuado depende de la naturaleza de los datos y de los objetivos del análisis. Cada uno de estos métodos puede proporcionar información valiosa sobre la estructura subyacente de tus datos y ayudarte a tomar decisiones basadas en esa estructura.

Para agregar el parametro loss

https://towardsdatascience.com/custom-loss-functions-for-gradient-boosting-f79c1b40466d