Correlación de nulidad
Contenido del curso
Jeinfferson Bernal G
Alberto Duque Villegas
Pablo Alejandro Figueroa
Mauricio Escobar
Julián Cárdenas
Mario Alexander Vargas Celis
Eduardo Barea
Paola Alapizco
Alfonso Andres Zapata Guzman
Fernando Jesús Núñez Valdez
Alfonso Andres Zapata Guzman
Correlacion de Nulidad
Existen valores faltantes que aparecen conjuntamente con otras variables en el conjunto de datos? . La correlacion de nulidad nos ayuda a encontrar relaciones entre las variables en funcion de su nulidad
missingno.heatmap( df=riskfactors_df )
Los valores coloreados de color gris representan que no hay una correlacion ni positiva ni negativa entre las valores faltantes de las variables
Los valores coloreados de azul indican una correlacion positiva, es decir, la presencia de un valor faltante en una de las variables esta correlacionado con un valor faltante en la otra como es el caso de las variables dieta
Los valores coloreados de rojo simboliza una correlacion negativa, es decir, mientras en una de las variables hay un valor faltante en la otro se tiene un valor completo y vicerversa como en el caso de las variables smoke_last y smoke_stop
Hay caso donde te puedes encontrar un simbolo de <1 lo que indica que estas cerca del 100% de correlacion bien sea negativa o positiva dependiendo del color
missingno.dendrogram( df=riskfactors_df )
Las variables que estan agrupadas cerca del nivel base indican que la presencia de valores faltantes estan muy relacionadas entre si
Mientras mas separado esten las variables en el diagrama es menos probable que los valores faltantes esten correlacionados entre las columnas
Chat GPT de OpenAi explica el dendrograma así:
Un dendrograma es una representación gráfica de un árbol de jerarquía que muestra cómo diferentes elementos se agrupan en función de sus similitudes. En el contexto de correlación entre variables con valores nulos o faltantes, un dendrograma puede ser utilizado para visualizar patrones de agrupación entre las variables en términos de la similitud en los patrones de valores faltantes.
Aquí hay una breve descripción de cómo interpretar un dendrograma en este contexto:
Similitud entre Variables:
Altura del Dendrograma:
Estructura Jerárquica:
Uso para Imputación o Análisis:
En resumen, el dendrograma en el contexto de correlación entre variables con valores faltantes proporciona una visualización que facilita la identificación de patrones de similitud en los patrones de valores faltantes entre diferentes variables. Esto puede ser útil para tomar decisiones informadas sobre cómo abordar la imputación de valores faltantes en conjuntos de datos.
Gracias..!
Respecto al eje Y del dendrograma:
Los números son una referencia abstracta que indica qué tanta similitud hay entre los patrones de nulos de las columnas.
Una línea horizontal que esté cerca del 10 (eje Y) indicaría una menor similitud en los patrones de nulos entre las columnas comparadas.
missingno.heatmap( df=riskfactors_df ) -------------------------------------- missingno.dendrogram( df=riskfactors_df )
La **correlación de nulidad** te permite evaluar si la ausencia de datos en una columna está relacionada con la ausencia de datos en otra columna. Esta técnica es útil para detectar patrones en los valores faltantes.
En Python, puedes calcular la correlación de nulidad utilizando la **matriz de nulidad** de un DataFrame. La función isnull() genera una matriz booleana que puedes usar para calcular correlaciones entre las columnas.
### Ejemplo de Correlación de Nulidad:
import pandas as pd import seaborn as sns import matplotlib.pyplot as plt \# Crear un DataFrame de ejemplo con algunos valores faltantes data = {'Variable1': \[1, 2, None, 4, 5, 6, None, 8, 9, 10],   'Variable2': \[5, None, 7, 8, 9, 10, None, 12, 13, 14],   'Variable3': \[None, 1, 2, None, 4, None, 6, 7, 8, 9]} df = pd.DataFrame(data) \# Crear la matriz de nulidad (True para valores nulos) nullity\_matrix = df.isnull() \# Calcular la correlación de nulidad nullity\_corr = nullity\_matrix.corr() \# Visualizar la correlación de nulidad con un heatmap plt.figure(figsize=(8, 6)) sns.heatmap(nullity\_corr, annot=True, cmap='coolwarm') plt.title('Correlación de Nulidad entre Variables') plt.show()
### Explicación:
1. **isnull()**: Crea una matriz donde True representa valores faltantes.
2. **corr()**: Calcula la correlación entre las columnas en términos de la presencia o ausencia de valores nulos. Un valor cercano a 1 indica que las columnas tienden a tener valores nulos al mismo tiempo; un valor cercano a 0 sugiere que no hay correlación.
3. **heatmap()**: Visualiza la matriz de correlación de nulidad.
### Interpretación:
- Si la correlación de nulidad es alta (cercana a 1), significa que cuando una columna tiene valores faltantes, es probable que la otra también los tenga.
- Si la correlación es baja o cercana a 0, significa que la ausencia de datos en una columna no está relacionada con la otra.
Wow, con este curso considero haber aprendido demasiado. Gran profesor, ahora ya sé como tener mejores prácticas; lo emplearé en R y en Julia igual :)
📝 La <u>correlación de nulidad</u> es una **medida estadística** para determinar si la ausencia de valores en una variable esta relacionada con la ausencia de valores en otra variable.
Es un Coeficiente de correlación como el de Pearson (Kendall ó Spearman), sin embargo este se calcula sobre la ausencia o presencia de valores en las variables.
Responde a la pregunta:
¿Existen valores faltantes que aparecen conjuntamente con otras variables en el dataset?
La podemos responder con 2 gráficos.
Interpretación:
⚠️ La correlación de nulidad no implica causalidad, lo que significa que otras variables o factores pueden estar involucrados en la presencia de datos faltantes
Porque hay variables que comparadas consigo mismas dan valores diferentes a 1, esto en la columna diagonal? Esto es debido a los valores faltantes?
Creo entender que el que el heatmap esta tomando en cuenta la relacion de valores faltantes dentro del dataframe, y tomandolos en cuenta unicamente a ellos para mostrarnos la correlacion ergo de datos faltantes por columna, por esto en las columnas de dieta muestra correlacion de 1, ya que como visualizamos en clases anteriores, los casos que no colocaron valor en alguna columna de dieta tampoco lo hizo en ninguno de los apartados de dieta.
Pero y la variable smoke_last, si dicha columna se compara consigo misma en cuanto valores faltantes, deberia haber correlacion 1 a 1, ya que faltaria el mismo dato en los mismos casos al realizarse la comparacion.
Exactamente, todos los valores de la diagonal serían 1, por eso es que se omiten. En esta matriz de correlación de nulidad se esta omitiendo toda la diagonal.
Gracias, ya lo note, en efecto la diagonal no esta, que seria la que tendria solo numeros 1, y la que yo vi como la diagonal de punta a punta es la diagonal que le antecede.
