Visualización de valores faltantes
Contenido del curso
Fredy Alberto Orozco Loaiza
Sebastian Serna Jimenez
Emilio Sala
Jeinfferson Bernal G
Miguel Ángel Acosta Rocha
Jeinfferson Bernal G
Paolo Joaquin Pinto Perez
JULIO ALFONSO MESA PÉREZ
Pablo Alejandro Figueroa
KEYRUN MESTRE ZALABATA
José Rodrigo Arana Hi
José Rodrigo Arana Hi
Jorge Lara
Alberto Duque Villegas
José Rodrigo Arana Hi
Diego Jurado
Oscar Piedrahita
Nixon Rolando García Ramírez
José Rodrigo Arana Hi
Raul Andres Parada Sepulveda
Eduardo Barea
Mauricio Escobar
Mauro Benito Montoya Arenas
Hubert Teller
Luis Miguel Rodríguez
juan castillo
juan castillo
juan castillo
Mario Alexander Vargas Celis
Pablo Alejandro Figueroa
Carlos Fabrishio Venegas Arana
Carlos Fabrishio Venegas Arana
Otra visualización muy porte de missigno es la matriz de correlación. Da mucha información
Excelente visualización, puedes compartir el código por favor?
missingno.heatmap(df = riskfactors_df)
Visualizacion de Datos Faltantes
Las tablas nos permite conocer las variables con su respectivo porcentaje de datos faltantes. Sin embargo para visualizar aparaciones conjuntas de valores faltantes, es decir que en una variable aparezca un valor faltante y en el mismo registro aparezca un valor faltante en otra variable, las tablas no ayudan. Para ello, utilizamos los utsetplot que establecen diferentes conjuntos de datos y su relacion.
# Grafica de páletas riskfactors_df.missing.missing_variable_plot()
riskfactors_df.missing.missing_case_plot()
( riskfactors_df .missing .missing_variable_span_plot( variable='weight_lbs', span_every=10, rot=0 #rotacion de los labels ) )
#Visualiacion mediante una funcion de pandas missingno.bar(df = riskfactors_df)
missingno.matrix(df = riskfactors_df)
( riskfactors_df .missing .missing_upsetplot( variables=['pregnant', 'weight_lbs', 'smoke_stop'], # None para mostrar la relacion de todas las variables element_size = 30 # tamaño de la visualizacion ) )
hola amigo... qué significa la gráfica de barras horizontal que sale en la última imagen?
Representa la cantidad de valores faltantes que contiene la variable. Saludos
Si tienes el mismo error como yo:
ValueError Traceback (most recent call last) Cell In[205], line 1 ----> 1 riskfactors_df.missing.missing_variable_plot() File /var/folders/ts/9c4rwdn15b7cy40fjt97_x6m0000gn/T/ipykernel_57155/805652746.py:147, in MissingMethods.missing_variable_plot(self) 143 plot_range = range(1, len(df.index) + 1) 145 plt.hlines(y=plot_range, xmin=0, xmax=df.n_missing, color="black") --> 147 plt.plot(df.n_missing, plot_range, "o", color="black") 149 plt.yticks(plot_range, df.variable) 151 plt.grid(axis="y") File ~/anaconda3/envs/ds-missing-values/lib/python3.9/site-packages/matplotlib/pyplot.py:2757, in plot(scalex, scaley, data, *args, **kwargs) 2755 @_copy_docstring_and_deprecators(Axes.plot) 2756 def plot(*args, scalex=True, scaley=True, data=None, **kwargs): -> 2757 return gca().plot( 2758 *args, scalex=scalex, scaley=scaley, 2759 **({"data": data} if data is not None else {}), **kwargs) File ~/anaconda3/envs/ds-missing-values/lib/python3.9/site-packages/matplotlib/axes/_axes.py:1632, in Axes.plot(self, scalex, scaley, data, *args, **kwargs) 1390 """ 1391 Plot y versus x as lines and/or markers. 1392 (...) 1629 (``'green'``) or hex strings (``'#008000'``). ... 344 "Multi-dimensional indexing (e.g. `obj[:, None]`) is no longer " 345 "supported. Convert to a numpy array before indexing instead." 346 ) ValueError: Multi-dimensional indexing (e.g. `obj[:, None]`) is no longer supported. Convert to a numpy array before indexing instead. Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...
Lo solucione en el metodo missing_variable_plot: cambiando la linea:
plt.plot(df.n_missing, plot_range, 'o', color="black")
a esta:
plt.plot(np.array(df.n_missing), plot_range, 'o', color="black")
PD: es una conversion a un array de numpy(compatibilidad)
Muchas gracias por la ayuda
gracias!
Cuando inntntento utilizar el código:
riskfactors_df.missing.missing_case_plot()
Me aparece el siguiente error:
OptionError: "No such keys(s): 'mode.use_inf_as_null'"
No pude solucionarlo, por lo que opté por una alternativa:
( riskfactors_df .missing .missing_case_summary() .plot( kind='hist', x='case', y='pct_missing', bins=15, ) )
parece que es una opcion de pandas que es llamado pero no se encuentra, por ello el error (ando asumiendo), pero tu codigo cumple con la visualización esperada. Gracias!
un detalle! en las X debe ir las 'n_missing'. Aquí mi plot, inspirado en el tuyo:
plt.hist( riskfactors_df .missing .missing_case_summary()['n_missing'] ) plt.show()
Una breve explicación de la librería missingno
Tratando de entender un gráfico UpSetPlot:
Si tenemos el siguiente bloque de código:
( riskfactors_df .missing .missing_upsetplot( variables = ["pregnant", "weight_lbs"], # Estas son las variables sobre las que se analizarán los valores faltantes. element_size = 30 ) )
La salida es:
Mi interpretación de la gráfica sería:
Hay aproximadamente 30 registros (filas) en los que no hay valores nulos en ambas variables.
Hay más de 200 registros (filas) con valores nulos en pregnant, en los valores válidos de weight.
Hay 1 aproximadamente valor nulo en weight en los registros (filas)con valores válidos de pregnant.
Hay aproximadamente 10 registros (filas) en los que hay valores nulos en ambas variables.
Para visualizar
riskfactors_df.missing.missing_case_plot()
Creo que hay un detalle con una opción en pandas que fue eliminado pero que sigue siendo invocado en seaborn, por ello los errores. Aquí un codigo temporal:
plt.hist( riskfactors_df .missing .missing_case_summary()['n_missing'] ) plt.show()
Las visualizaciones son esenciales en los procesos de análisis de datos.
Alguien sabe cómo hago para que me autocomplete las palabras, si estoy utilizando el notebook en VSC ?
De esta manera si me autocompleta las palabras
riskfactors_df.missing.missing_variable_span_plot(variable='weight_lbs', span_every=10, rot=0)
pero de esta forma no autocompleta
( riskfactors_df .missing .missing_variable_span_plot( variable = 'weight_lbs', span_every=10, rot = 0 ) )
Es curioso que no te auto complete, yo le intentaria con ctrl + espacio .
a veces con un restart al Kernel se soluciona este y otros problemas.
ERROR: OptionError: "No such key(s): 'mode.use_inf_as_null' missing_case_plot
#Solucion de este error en requirements.txt #Debe usarse seaborn 0.12.2 o superior pyjanitor missingno numpy matplotlib==3.5.1 pandas pyreadr seaborn==0.12.2 session-info upsetplot==0.6.1
gracias compañero.
Qué onda 👋 el upsetplot que hicimos en clase es bastante útil. Al al ser nuevo para mi quise enfatizar la forma de leerlo. quizás es algo muy obvio pero no está demás reiterarlo:
Observaciones La visualización de valores nulos indica dos grupos principales de columnas con valores faltantes relacionados al estilo de vida: uno asociado con la dieta y otro relacionado a hábitos de estilo de vida deficiente.
También le hice unos ajustes a la función para evitar conflictos por versiones anteriores que daban como resultado un festival de warnings (al parecer se necesita modificar el código desde upsetplot, por lo que no podemos hacer mucho hasta que lo actualicen):
"""(1) Plots the nulls whose values appear together (in successive rows) - using an 'upsetplot'""" def missing_upsetplot(self, cols: List[str] = None, **kwargs): #pandas version -> 2.2.1 #upsetplot version -> 0.9.0 if cols is None: cols = self._obj.columns.tolist() # se convierten 'Series' a una lista # null values values count missing_data = self._obj.isna().value_counts(subset=cols) # remove the FutureWarnings with warnings.catch_warnings(): warnings.simplefilter(action='ignore', category=FutureWarning) # upsetplot -> library upsetplot.plot(missing_data, **kwargs)
En el minuto 4:18 me parece que tuvo que decir que la mayoria de las filas tuvo 4 errores faltantes (no 5)
De acuerdo!
¿Es posible ver correlaciones entre datos nulos?
Sí, es totalmente posible y muy recomendado mediante el uso de dendrogramas o mapas de calor de nulidad. Estas gráficas agrupan las variables que tienen patrones de datos faltantes similares, revelando si un fallo específico causó un efecto dominó. Entender esto te ayuda a aplicar técnicas de imputación multivariada más precisas.
El error 'InvalidIndexError: Reindexing only valid with uniquely valued Index objects' sugiere que hay índices duplicados en tu DataFrame al intentar usar 'missing_upsetplot'. Asegúrate de que los índices sean únicos o considera usar 'reset_index()' para resolver el problema.
ya he intentado arreglar el indice pero el error persiste
Para visualizar los valores faltantes en un DataFrame de Pandas, hay varias formas efectivas, y puedes aprovechar bibliotecas de visualización como matplotlib, seaborn, o incluso herramientas específicas como missingno. A continuación, te mostraré algunas de las formas más comunes.
### 1. Usar missingno para visualizar los valores faltantes
La biblioteca missingno es una excelente opción para visualizar los valores faltantes de manera rápida y efectiva.
#### Instalación:
Si no tienes instalada la biblioteca missingno, puedes instalarla con pip:
pip install missingno
#### Ejemplo de uso:
Una vez instalada, puedes usarla para visualizar los valores faltantes en tu DataFrame.
import missingno as msno import matplotlib.pyplot as plt \# Supongamos que riskfactors\_df es tu DataFrame msno.matrix(riskfactors\_df) plt.show() \# También puedes utilizar un heatmap de correlación de valores faltantes msno.heatmap(riskfactors\_df) plt.show()
- **msno.matrix()**: Muestra una vista visual de los valores faltantes y no faltantes en el DataFrame.
- **msno.heatmap()**: Visualiza las correlaciones de valores faltantes entre las columnas del DataFrame.
### 2. Usar un heatmap con Seaborn para visualizar valores faltantes
Puedes crear un heatmap usando seaborn para representar los valores faltantes.
#### Instalación:
Si no tienes instalada seaborn, instálala con pip:
pip install seaborn
#### Ejemplo de uso:
import seaborn as sns import matplotlib.pyplot as plt \# Crear un mapa de calor donde se visualicen los valores faltantes plt.figure(figsize=(10,6)) sns.heatmap(riskfactors\_df.isnull(), cbar=False, cmap='viridis') plt.title("Mapa de calor de valores faltantes") plt.show()
Este heatmap marcará con un color los valores que son nulos (True) y con otro color los que no lo son (False).
### 3. Usar un gráfico de barras con Matplotlib
Puedes visualizar los valores faltantes de cada columna usando un gráfico de barras.
import pandas as pd import matplotlib.pyplot as plt \# Contar los valores faltantes por columna missing\_values = riskfactors\_df.isnull().sum() \# Filtrar las columnas con valores faltantes missing\_values = missing\_values\[missing\_values > 0] \# Crear gráfico de barras missing\_values.plot(kind='bar', figsize=(10,6)) plt.title("Valores faltantes por columna") plt.xlabel("Columnas") plt.ylabel("Número de valores faltantes") plt.show()
Este gráfico de barras te mostrará cuántos valores faltantes tienes en cada columna.
### 4. Mostrar la distribución de valores faltantes con un conteo
Si prefieres simplemente contar los valores faltantes sin visualización gráfica:
\# Contar los valores faltantes en cada columna missing\_summary = riskfactors\_df.isnull().sum() print(missing\_summary)
Estas son algunas de las formas más útiles para identificar y visualizar los valores faltantes en tus datos. Dependiendo de la naturaleza de tu proyecto, puedes optar por una u otra, o combinarlas para obtener una visión más clara de los datos faltantes.
Explicación visual de qué es un UpSet:
para el .missing_case_plot()
coloqué este código
plt.hist( riskfactors_df .missing .missing_case_summary()['n_missing'],color='black',bins=15 ) plt.show()
Para los que tienen problemas con missing_variable_plot()
Lo solucione con este codigo
def missing_variable_plot(self): df = self._obj.missing.missing_variable_summary().sort_values("n_missing")
plot_range = range(1, len(df.index) + 1) plt.hlines(y=plot_range, xmin=0, xmax=df.n_missing.values, color="black") # Convierte df.n_missing en un array de NumPy plt.plot(np.array(df.n_missing), plot_range, 'o', color="black") plt.yticks(plot_range, df.variable) plt.grid(axis="y") plt.xlabel("Number missing") plt.ylabel("Variable") plt.show()
