Contenido del curso
Nahuel Garcia
Ricardo Alanis
Roger Christian Cansaya Olazabal
Andres Gutiérrez Castillo
Ricardo Alanis
Juan R. Vergara M.
Gabriel Obregón
Ricardo Alanis
Osvaldo Olguín
Jose Luis Higuera Caraveo
Ricardo Alanis
Jose Luis Higuera Caraveo
Mario Alexander Vargas Celis
Diego Jurado
Ricardo Alanis
Cuando se usa .unique() para quedarse con los valores unicos de una columna, devuelve un array de numpy. No hace falta transformarlo a lista para iterar o usar sus elementos por ejemplo, podemos iterar directamente sobre el array y nos ahorramos escribir el list().
Toda la razón, soy solo un paranoico que luego no sabe con qué objeto esta trabajando y prefiero llevármelo al iterable natural de python, pero tienes toda la razón.
Yo diria que es una buena practica.
resumen:
a paritr de una funcion de ditribucion normal (sera el modelo) calcularemos el valor de CDF (distribucion acumulada) para encontrar IMPORTES que sean anormales o outliers.
tengan en consideracion.
CDF
tengan en consideracion que siendo x el valor de IMPORTE podemos decir que el valor de CDF es la probabilidad de que un valor aleatorio sea menor o igual a x.
por ejemplo vemos en el dataset tenemos 2 registros con IMPORTE = .8*10^8 =80,000,000 con un valor de cdf = 0.999, esto indica:
"hay una probabilidad de 99.9% de que una nuevo registro de IMPORTE sea menor o igual a 80 millones"
Gracias por la aportacion!!
Gracias por el resumen 👏🏻
No se me hubiera ocurrido para calcular la probabilidad para cada fila, separar el dataset en distintos modelos según categoría. Lo interesante es que la forma del histograma armado con distintos modelos por categoría tiene una distribución “más normal” que el inicial de un solo modelo (que era bastante asimétrico).
¡Importante seguir investigando!
Sí! Muy ingenioso.
Es recomendable aplicar un test de bondad de ajuste para conocer si los datos realmente siguen una distribución normal?, esto antes de aplicar el método de los Outliers.
No se debe considerar como Outliers aquellos datos que estan por debajo del 0.025 y por encima del 0.975 de probabilidad, y dejando el 0.95 en medio de la distribución? Esto considerando que la distribución normal es simétrica.
¡Claro! Es una restricción para ese método de outliers, si no tenemos normalidad, solo estamos implementando un método arbitrario.
Genia!. Para tomarlo en cuenta para futuros proyectos.
Para aplicar un modelo no supervisado de detección de anomalías, puedes utilizar varios enfoques, dependiendo del tipo de datos que tengas y de la naturaleza de las anomalías que quieras detectar. Un enfoque común es utilizar el **Isolation Forest**, que es adecuado para detectar anomalías en datos de alta dimensión.
Aquí te dejo un ejemplo básico usando **Isolation Forest** de la biblioteca scikit-learn:
### Pasos para aplicar un modelo de detección de anomalías con Isolation Forest:
1. **Instalar la biblioteca scikit-learn** (si aún no lo has hecho):
```bash
pip install scikit-learn
```
2. **Cargar los datos y preprocesarlos**. Por ejemplo, si ya tienes un DataFrame compras\_df, selecciona las columnas que deseas analizar.
3. **Entrenar el modelo Isolation Forest**:
```python
from sklearn.ensemble import IsolationForest
from sklearn.model_selection import train_test_split
import numpy as np
# Suponiendo que tus datos estén en compras_df y quieras detectar anomalías en una columna específica:
X = compras_df[['IMPORTE']] # Suponiendo que quieres detectar anomalías en la columna 'IMPORTE'
# Dividir en conjuntos de entrenamiento y prueba (opcional)
X_train, X_test = train_test_split(X, test_size=0.33, random_state=42)
# Crear el modelo de Isolation Forest
iso_forest = IsolationForest(n_estimators=100, contamination=0.1, random_state=42)
# Ajustar el modelo (entrenarlo)
iso_forest.fit(X_train)
# Predecir anomalías (1 = normal, -1 = anómalo)
anomalies = iso_forest.predict(X_test)
# Agregar una columna para indicar si es anómalo o no
X_test['Anomalía'] = anomalies
```
4. **Interpretar los resultados**:
- Las predicciones del modelo serán 1 si el registro es considerado normal, y -1 si es considerado una anomalía.
- Puedes explorar los resultados de las anomalías:
```python
# Mostrar los registros que fueron detectados como anomalías
anomalías_detectadas = X_test[X_test['Anomalía'] == -1]
print(anomalías_detectadas)
```
### Parámetros importantes:
- **n_estimators**: El número de árboles en el bosque de aislamiento.
- **contamination**: La proporción de anomalías que esperas encontrar en tus datos. Si no tienes una idea clara, puedes ajustarlo según la naturaleza de tus datos.
Con este enfoque, puedes detectar comportamientos inusuales o fuera de lo común en tus datos. ¿Te gustaría profundizar en alguna parte o adaptarlo a un caso específico?
Ya tiene activado al periodista
<3
