Tabulación de valores faltantes

Me sucedió que al ejecutar los métodos de tabulación como:

df.missing.missing_variable_table()
df.missing.missing_case_table()

Me devolvía un error porque no encontraba la variable “n_variables”
.
Esto ocurre porque en el método escrito de pandas-missing-extension, que es esta para missing_variable_table():

    def missing_variable_table(self) -> pd.DataFrame:
        return (
            self._obj.missing.missing_variable_summary()
            .value_counts("n_missing")
            .reset_index()
            .rename(columns={"n_missing": "n_missing_in_variable", 0: "n_variables"})
            .assign(
                pct_variables=lambda df: df.n_variables / df.n_variables.sum() * 100
            )
            .sort_values("pct_variables", ascending=False)
        )

Durante value_counts, se genera una columna llamada “count” y no “0”, entonces rename no consigue renombrarla a “n_variables” y en consecuencia assign no la encuentra.
Para corregir esto desde la función reset_index se puede asignar name=“n_variables” y eso sería más universal. Aquí estaría el código modificado para que se ejecute correctamente:

    def missing_variable_table(self) -> pd.DataFrame:
        return (
            self._obj.missing.missing_variable_summary()
            .value_counts("n_missing")
            .reset_index(name="n_variables")
            .rename(columns={"n_missing": "n_missing_in_variable"})
            .assign(
                pct_variables=lambda df: df.n_variables / df.n_variables.sum() * 100
            )
            .sort_values("pct_variables", ascending=False)
        ) 

Tabulacion de Valores Faltantes

Tabular es expresar valores, magnitudes u otros datos por medio de tablas.

• Siempre empieza los analisis con preguntas simples, que lleven a un numero:
  • cuantos valores deberian existir en el conjunto de datos?
• Construir resumenes por variables y observaciones:
  • Cuantos valores faltantes existen por cada variable?
  • ¿Cuantas variables tiene X numero de valores faltantes?
  • ¿Cuantas observaciones tiene X numero de valores faltantes?
  • Cuenta los registros con datos faltantes
• Salir de la caja y hacer mas preguntas
  • ¿Cuantos valores faltantes tengo en una variable cada X pasos? para el caso de trabajar con series de tiempo
  • ¿Cual es la racha de valores completos y faltantes en una variable?

Es importante aclarar que el 3 de abril de 2023 se lanzó una nueva versión de la API de Pandas (la 2.0.0). Entonces algunas funciones del cuaderno de pandas-missing-extension generan errores.

Una solución rápida para este problema es asegurarse que se está ejecutando la versión 1.5.3 de Pandas o anteriores.

Si se está ejecutando el código en DeepNote, basta con ejecutar la instrucción:

!pip install pandas==1.5.3

antes de

import pandas

O si se está ejecutando el código desde un entorno local, basta con reinstalar el paquete de Pandas a la versión 1.5.3 desde el gestor de ambientes virtuales (venv, Anaconda, etc.)

Analisis de Valores Faltantes en el DataFrame riskfactors

• Mostrar los valores faltantes en el dataframe de manera general

riskfactors_df.isna()

• Fila y columnas del dataFrame

riskfactors_df.shape
--> (245, 34)  #245 registros, 34 variables

En lo que sigue, utilizamos las funciones creadas para extender la funcionalidad de pandas

• Numero de valores completos en el DataFrame

riskfactors_df.missing.number_complete()
--> 7144

• Numero de valores faltantes en el dataframe

riskfactors_df.missing.number_missing()
--> 1186

Resumenes Tabulares de Valores Faltantes

• Resumen por variable

riskfactors_df.missing.missing_variable_summary()
# missing_variable_summary() indica un resumen en cuanto a los datos
# faltantes por variable. Muestra el N° de datos faltantes, el N° de registros 
# y el porcentaje de datos faltantes que representa en el dataframe

• Tabulacion del resumen por variable

riskfactors_df.missing.missing_variable_table()
# missing_variable_table() muestra una tabla con el N° de datos faltantes, 
# el N° de variables que contienen esos datos faltantes y el % que representa
# esa cantidad de variables respecto al total

• Resumen por caso

riskfactors_df.missing.missing_case_summary()
# missing_case_summary() muestra todos los registros junto al N° de variables con datos 
# faltantes y el % de esas variables que representa respecto al total 

• Tabulacion del resumen por caso

riskfactors_df.missing.missing_case_table()
# missing_case_table() muestra una tabla con el N° de datos faltantes, la cantidad
# de registros que contienen ese N° de datos faltantes y e % de registros que 
# representan respecto al total de registros

Intervalos de Valores Faltantes

• Numero de valores faltantes por cada 50 registros para la variable ‘weight_lbs’

riskfactors_df.missing.missing_variable_span(variable='weight_lbs',span_every=50)
# missing_variable_span() muestra el resumen de datos faltantes, datos completos,
# % de datos faltantes y % de datos completos por bloques de registros

• En caso de trabajar con una serie de tiempo nos interesa saber en que punto o tiempo, alguna variable en particular muestra un comportamiento atipico. La siguiente funcion muestra el N° de registros consecutivos que estan completos seguido del N° de registros consecutivos que tienen datos faltantes

riskfactors_df.missing.missing_variable_run(variable='weight_lbs')

Para los que usan VSC con sus librerías y entornos bien configurados y les sale error con estas líneas de codigo:

<code> 
riskfactors_df.missing.missing_case_summary()
riskfactors_df.missing.missing_case_table()

lo pude solucionar cambiando el codigo en “pandas-missing-extension” en las funciones de:

“missing_variable_table”

<code> 
def missing_variable_table(self) -> pd.DataFrame:
        return (
            self._obj.missing.missing_variable_summary()
            .value_counts("n_missing")
            .reset_index()
            .rename(columns={"n_missing": "n_missing_in_variable", "count": "n_variables"})
            .assign(
                pct_variables=lambda df: df.n_variables / df.n_variables.sum() * 100
            )
            .sort_values("pct_variables", ascending=False)
        )

Y en la funcion “missing_case_table”

<code> 
def missing_case_table(self) -> pd.DataFrame:
        return (
            self._obj.missing.missing_case_summary()
            .value_counts("n_missing")
            .reset_index()
            .rename(columns={"n_missing": "n_missing_in_case", "count": "n_cases"})
            .assign(pct_case=lambda df: df.n_cases / df.n_cases.sum() * 100)
            .sort_values("pct_case", ascending=False)
        )

Durante .value_counts, se genera una columna llamada “count” y no “0”, entonces sustituyendo se soluciona el problema.

missing_variable_summary() #metodo para obtener tabla con el conteo de datos faltantes en todas las columnas

missing_variable_table() #metodo para obtener tabla agrupada por el conteo de datos faltantes en todas las columnas

Aparentemente, existe un error en el cálculo durante la verificación de valores faltantes por registro. Se estipula que cada registro consta de un total de 34 campos posibles, y nuestra tarea es determinar cuántos de estos campos se encuentran incompletos. Es decir, el porcentaje de valores faltantes por registro se calcula como la relación entre la cantidad de campos faltantes (n_faltantes) y el número total de campos (n_totales), que en este caso es 34.
En el ejemplo de clase, se observa que uno de los registros presenta 6 campos incompletos. Esto representaría aproximadamente el 17.64% del total de campos disponibles (34 campos). Sin embargo, el ejercicio obtiene un valor del 16.66%, que no concuerda con el cálculo anterior.
Es importante señalar que me podría encontrar en un error, agradecería que proporcionaran una explicación para entender la razón detrás del resultado observado en la clase.
Propongo la siguiente corrección para calcular correctamente la relación entre la cantidad de campos faltantes (n_faltantes) y el número total de campos (n_totales):

y pensar que para ver los valores faltantes sólo hacía

 base.info()

y ya me mostraba

• conteo de variables faltantes en todas las columnas

riskfactors_df.missing.missing_variable_summary()

• conteo de variables faltantes en las columnas que tienen valores faltantes

riskfactors_df.missing.missing_variable_table()

6. Tabulación de valores faltantes

• Tabular es expresar valores, magnitudes u otros datos por medio de tablas

Empezar con resúmenes simples, como números.

• ¿Cuántos valores deberían existir en el conjunto de datos?
• ¿Cuántos valores faltantes existen en el conjunto de datos?
• ¿Cuántos valores completos existen en el conjunto de datos?

Construir resúmenes por variables y observaciones

• ¿Cuántos valores faltantes existen por cada variable?
• ¿Cuántos valores faltantes existen por cada observación?
• ¿Cuántas variables tiene X número de valores faltantes?
• ¿Cuántas observaciones tiene X número de valores faltantes?

Salir de la caja y hacer más preguntas

• Preguntas relacionadas al negocio
• ¿Cuántos valores faltantes tengo en una variable cada X pasos?
• ¿Cuál es mi racha de valores completos y faltantes en una variable?

El error está en pandas-missing-extension. Busca la función “missing_variable_table”. El error es que quiere renombrar la columna “0” pero no hay ninguna con ese nombre al momento de hacer la transformación del dataframe. El código debe ser el siguiente:

def missing_variable_table(self) -> pd.DataFrame:
        return (
            self._obj.missing.missing_variable_summary()
            .value_counts("n_missing")
            .reset_index()
            .rename(columns={"n_missing": "n_missing_in_variable", "count": "n_variables"})
            .assign(
                pct_variables=lambda df: df.n_variables / df.n_variables.sum() * 100
            )
            .sort_values("pct_variables", ascending=False)
        )

riskfactors_df.missing.missing_case_table()
----
(
    riskfactors_df
    .missing
    .missing_variable_span(
        variable="weight_lbs",
        span_every=50
    )
)
-----
(
    riskfactors_df
    .missing
    .missing_variable_run(
        variable="weight_lbs"
    )
)