Imputación por media, mediana y moda

Clase 9 de 17 • Curso de Manejo de Datos Faltantes: Imputación

Bryan Carvajal

student•

Comparando los 3

fig, ax = plt.subplots(1,3,figsize=(20,10), sharey=True)
(
    nhanes_df
    .select_columns("height", "weight")
    .missing.bind_shadow_matrix(True, False, suffix= "_imp")
    .assign(
        height = lambda df: df.height.fillna(value = df.height.mean()),
        weight = lambda df: df.weight.fillna(value = df.weight.mean())
    ).missing.scatter_imputation_plot(
        x="height",
        y="weight",
        # show_marginal = True,
        # height = 10,
        ax=ax[0]
    )
),
(
    nhanes_df
    .select_columns("height", "weight")
    .missing.bind_shadow_matrix(True, False, suffix= "_imp")
    .assign(
        height = lambda df: df.height.fillna(value = df.height.median()),
        weight = lambda df: df.weight.fillna(value = df.weight.median())
    ).missing.scatter_imputation_plot(
        x="height",
        y="weight",
        # show_marginal = True,
        # height = 10,
        ax=ax[1]
    )
),
(
    nhanes_df
    .select_columns("height", "weight")
    .missing.bind_shadow_matrix(True, False, suffix= "_imp")
    .assign(
        height = lambda df: df.height.fillna(value = df.height.mode()),
        weight = lambda df: df.weight.fillna(value = df.weight.mode())
    ).missing.scatter_imputation_plot(
        x="height",
        y="weight",
        # show_marginal = True,
        # height = 10,
        ax=ax[2]
    )
),
ax[0].set_title("Mean", fontsize =22, fontweight='bold')
ax[1].set_title("Median", fontsize =22, fontweight='bold')
ax[2].set_title("Mode", fontsize =22, fontweight='bold')

Julián Cárdenas

student•

NICEE

Jeinfferson Bernal G

student•

1. Imputacion por Media, Mediana o Moda

Ventajas:

Rapido y facil de implementar.
La media puede ser util en presencia de outliers.
No afectara el estadistico en cuestion ni el tamano de la muestra.

Desventajas:

Puede sesgar los resultados, dado que modifica la distribucion por debajo (curtosis). Zona donde se estan aglomerando los datos
Pierdes correlaciones entre variables dado que no es muy preciso o muy real. Carece de variabilidad.
No puedes usarlo en variables categoricas (a excepcion de la moda ya que puedes usar el valor mas frecuente).

Pablo Alejandro Figueroa

student•

Gracias..!

Neicer Vásquez

student•

Hay un error, "La media puede ser util en presencia de outliers" en realidad es la mediana.

jhon velasque

student•

La imputación por donante es un método utilizado en la estadística para rellenar valores perdidos en un conjunto de datos. Consiste en buscar un "donante" o conjunto de datos similares y utilizar sus valores para rellenar los valores perdidos.

Por otro lado, un modelo es una representación matemática o computacional de un sistema o proceso. En estadística y machine learning, los modelos se utilizan para representar y predecir patrones en los datos.

Jeinfferson Bernal G

student•

Visualizacion de los valores imputados

Matriz de sombra para las variables weight y height con sus valores imputados


(
    nhanes_df
    .select_columns("height", "weight")
    .missing.bind_shadow_matrix2(True, False, suffix = "_imp")
    .assign(
        height = lambda df: df.height.fillna(value = df.height.mean()),
        weight = lambda df: df.weight.fillna(value = df.weight.mean())
    )
)

Visualizacion de los valores imputados mediante un scatterplot

plt.figure(figsize=(8, 8))

(
    nhanes_df
    .select_columns("height", "weight")
    .missing.bind_shadow_matrix2(True, False, suffix = "_imp")
    .assign(
        height = lambda df: df.height.fillna(value = df.height.mean()),
        weight = lambda df: df.weight.fillna(value = df.weight.mean())
    )
    .missing.scatter_imputation_plot(x="height", y="weight")
)

La imputacion hecha no rompe la estructura de los datos ni la relacion entre variables, los puntos imputados no se estan saliendo de los puntos reales por lo que es una buena imputacion.

Julián Cárdenas

student•

Como siempre buen resumen

Andrés Cardona

student•

Tú m puedes pasar por favor el archivo de missing con la función .scatter_imputation_plot() ??

José Pablo Cabrera Romo

student•

Al momento de realizar el scatter_imputation_plot para el métrico de moda tengan cuidado. La función .mode() devuelve un objeto de tipo Series, ya que puede haber múltiples modas en una columna. Para acceder a la moda real, que es el primer valor de la Serie devuelta por .mode(), pueden usar [0]. De no ser hacerlo así pueden revisar los datos en el Data Frame resultante y ver que los datos faltantes no fueron imputados.

Les dejo el código:

my_colors = {
    False: "red",
    True: "black",
}

size_mapping = {
    False: 20,
    True: 100
}


(
    nhanes_df
    .select_columns("height", "weight")
    .missing.bind_shadow_matrix(True, False, suffix = "_imp")
    .assign(
        height = lambda df: df.height.fillna(value = df.height.mode()[0]),
        weight = lambda df: df.weight.fillna(value = df.weight.mode()[0])
    )
    .missing.scatter_imputation_plot(
        x = "height",
        y = "weight",
        show_marginal = True,
        #height = 10,
        alpha = 0.3,
        palette=my_colors,
        sizes = size_mapping
        
    )
)

Pablo Alejandro Figueroa

student•

Imputación con Media, Mediana y Moda: Ventajas y Desventajas

Media:

Ventajas:

Simple y fácil de calcular.
Intuitiva y fácil de entender.
Minimiza el error cuadrático medio.
Robusta frente a valores atípicos simétricos. Desventajas:
Sensible a valores atípicos asimétricos.
No es robusta frente a distribuciones no normales.
No es adecuada para variables categóricas.
Puede distorsionar la distribución original de la variable.

Mediana:

Ventajas:

Robusta frente a valores atípicos.
No es sensible a la forma de la distribución.
Adecuada para variables categóricas y numéricas.
Preserva la distribución original de la variable. Desventajas:
Menos eficiente que la media para distribuciones normales.
Más difícil de calcular que la media.
Puede ser menos precisa que la media para conjuntos de datos pequeños.

Moda:

Ventajas:

Muy simple de calcular.
Fácil de interpretar.
Útil para variables categóricas.
Robusta frente a valores atípicos. Desventajas:
No es informativa para variables con distribuciones multimodales.
No es sensible a la forma de la distribución.
Puede ser menos precisa que la media o la mediana.
No es adecuada para variables numéricas con valores continuos.

Ejemplos específicos:

Imputación con la media: Se puede utilizar para imputar valores faltantes en una variable numérica que se distribuye normalmente y que no tiene valores atípicos.
Imputación con la mediana: Se puede utilizar para imputar valores faltantes en una variable numérica que no se distribuye normalmente o que tiene valores atípicos.
Imputación con la moda: Se puede utilizar para imputar valores faltantes en una variable categórica.

Esteban Navarro Díaz

student•

El método scatter_imputation_plot() no se encuentra en missing. Sería bueno que actualizaran esto en la clase, ya que está pasando mucho en este curso.

David Duque Uribe

student•

De acuerdo, muchas de las funciones que se usan en el curso no me salen disponibles. O no me funcionan como al profe Jesus

Cristhian Eduardo Ninanya Cerron

student•

Si se encuentra dentro del archivo "pandas-missing-extension.ipynb". Solo que debes verificar que el archivo se encuentre dentro de Files. Se debe invocarlo con %run pandas-missing-extension.ipynb A mi tambien me fallaba, volvi a importar el archivo dentro de la notebook y funciono.

Mario Alexander Vargas Celis

student•

La **imputación por media, mediana y moda** es uno de los métodos más simples y comunes para manejar valores faltantes. Estos métodos son fáciles de implementar y proporcionan una solución rápida, especialmente cuando los valores faltantes son pocos. A continuación, te explico cada uno de estos enfoques:

### 1. **Imputación por Media**

La imputación por media reemplaza los valores faltantes de una variable numérica por el promedio de todos los valores no faltantes de esa variable.

- **Ventajas**: Es fácil de calcular e implementar.

- **Desventajas**: Puede distorsionar la distribución de los datos, especialmente si hay outliers, y puede subestimar la varianza.


\# Imputación por media

df\['columna'] = df\['columna'].fillna(df\['columna'].mean())

### 2. **Imputación por Mediana**

La imputación por mediana utiliza el valor central de los datos para reemplazar los valores faltantes. Es más robusta que la media en presencia de valores atípicos.

- **Ventajas**: La mediana es menos sensible a outliers, por lo que es más adecuada para datos sesgados.

- **Desventajas**: Al igual que con la media, puede reducir la variabilidad en los datos.


\# Imputación por mediana

df\['columna'] = df\['columna'].fillna(df\['columna'].median())

### 3. **Imputación por Moda**

Para variables categóricas, la imputación por moda reemplaza los valores faltantes con la categoría más frecuente en los datos.

- **Ventajas**: Es útil para variables categóricas.

- **Desventajas**: Si hay varias categorías con frecuencias similares, puede no ser representativo imputar con la moda.


\# Imputación por moda (valores categóricos)

df\['columna'] = df\['columna'].fillna(df\['columna'].mode()\[0])

### Comparación y Aplicaciones

|-------------|-----------------------------------------|--------------------------------------------------------|--------------------------------------------------------|

### Consideraciones

- **Reducción de la varianza**: Al utilizar la media, mediana o moda, se reduce la variabilidad en los datos, lo que puede ser perjudicial en algunos análisis.

- **Sesgo**: Estos métodos suponen que los valores faltantes son aleatorios. Si los valores faltantes tienen un patrón, la imputación por media, mediana o moda puede introducir sesgos.

Este enfoque es más adecuado cuando hay pocos valores faltantes y no se requiere una alta precisión. Para conjuntos de datos con muchas variables o relaciones complejas, se pueden usar métodos más avanzados como la imputación multivariante o la regresión.

Pablo Alejandro Figueroa

student•

Andres Sanchez

student•

# Imputación utilizando la moda
df_mode = (
    nhanes_df
    .select_columns('height', 'weight')
    .missing.bind_shadow_matrix(True, False, suffix='_imp')
    .assign(
        height=lambda df: df.height.fillna(value=df.height.mode().values[0]),
        weight=lambda df: df.weight.fillna(value=df.weight.mode().values[0])
    )
)

# Imputación utilizando la mediana
df_median = (
    nhanes_df
    .select_columns('height', 'weight')
    .missing.bind_shadow_matrix(True, False, suffix='_imp')
    .assign(
        height=lambda df: df.height.fillna(value=df.height.median()),
        weight=lambda df: df.weight.fillna(value=df.weight.median())
    )
)

# Gráfico de dispersión para imputación con moda
df_mode.missing.scatter_imputation_plot(
    x='height',
    y='weight',
    show_marginal=True
)

# Gráfico de dispersión para imputación con mediana
df_median.missing.scatter_imputation_plot(
    x='height',
    y='weight',
    show_marginal=True
)

Jeinfferson Bernal G

student•

Ejemplo de imputacion por la Media

Imputacion para la variable altura

(
    nhanes_df
    # utilizamos un metodo janitor
    .transform_column(
     'height',
     lambda x: x.fillna(x.mean()),
     elementwise=False
    )
)

En este caso la media es de 66.256, valor con el cual se sustituye los valores faltantes.

Obtener la media de la columna height con los datos completos.

(
    nhanes_df
    # utilizamos un metodo janitor
    .transform_column(
     'height',
     lambda x: x.fillna(x.mean()),
     elementwise=False
    )
    .height
    .mean()
)

--> 66.25655976676525

El valor de la media en general no se altera debido a la imputacion, se mantiene.

Oscar Eduardo Moreno Preciado

student•

imputación de datos con la mediana

Andrés Cardona

student•

Alguien tiene el archivo con la función .scatter_imputation_plot?

Pablo Alejandro Figueroa

student•

    def scatter_imputation_plot(
        self, x, y, imputation_suffix="_imp", show_marginal=False, **kwargs
    ):

        x_imputed = f"{ x }{ imputation_suffix }"
        y_imputed = f"{ y }{ imputation_suffix }"

        plot_func = sns.scatterplot if not show_marginal else sns.jointplot

        return (
            self._obj[[x, y, x_imputed, y_imputed]]
            .assign(is_imputed=lambda df: df[x_imputed] | df[y_imputed])
            .pipe(lambda df: (plot_func(data=df, x=x, y=y, hue="is_imputed", **kwargs)))
        )

Pablo Alejandro Figueroa

student•

def scatter_imputation_plot( self, x, y, imputation_suffix="_imp", show_marginal=False, **kwargs ):

    x_imputed = f"{ x }{ imputation_suffix }"
    y_imputed = f"{ y }{ imputation_suffix }"

    plot_func = sns.scatterplot if not show_marginal else sns.jointplot

    return (
        self._obj[[x, y, x_imputed, y_imputed]]
        .assign(is_imputed=lambda df: df[x_imputed] | df[y_imputed])
        .pipe(lambda df: (plot_func(data=df, x=x, y=y, hue="is_imputed", **kwargs)))
    )

Miguel Antonio Rojas Martinez

student•

yo tuve problemas porque la funcion bind_shadow_matrix no me recibia el parametro suffix, asi que actualice pandas-missing-extension.ipynb con:def bind_shadow_matrix2( self, true_string: str = "Missing", false_string: str = "Not Missing", only_missing: bool = False, suffix: str = "_NA", ) -> pd.DataFrame: return pd.concat( objs=[ self._obj, self._obj.missing.create_shadow_matrix2( true_string=true_string, false_string=false_string, only_missing=only_missing, suffix=suffix, ), ], axis="columns", ) def create_shadow_matrix2( self, true_string: str = "Missing", false_string: str = "Not Missing", only_missing: bool = False, suffix: str = "_NA", ) -> pd.DataFrame: return ( self._obj.isna() .pipe(lambda df: df[df.columns[df.any()]] if only_missing else df) .replace({False: false_string, True: true_string}) .add_suffix(suffix) )

def bind_shadow_matrix2(
        self,
        true_string: str = "Missing",
        false_string: str = "Not Missing",
        only_missing: bool = False,
        suffix: str = "_NA",
    ) -> pd.DataFrame:
        return pd.concat(
            objs=[
                self._obj,
                self._obj.missing.create_shadow_matrix2(
                    true_string=true_string,
                    false_string=false_string,
                    only_missing=only_missing,
                    suffix=suffix,
                ),
            ],
            axis="columns",
        )

    def create_shadow_matrix2(
        self,
        true_string: str = "Missing",
        false_string: str = "Not Missing",
        only_missing: bool = False,
        suffix: str = "_NA",
    ) -> pd.DataFrame:
        return (
            self._obj.isna()
            .pipe(lambda df: df[df.columns[df.any()]] if only_missing else df)
            .replace({False: false_string, True: true_string})
            .add_suffix(suffix)
        )

Miguel Antonio Rojas Martinez

student•

yo tuve problemas porque la funcion bind_shadow_matrix no me recibia el parametro suffix, asi que actualice pandas-missing-extension.ipynb con: ```python def bind_shadow_matrix2( self, true_string: str = "Missing", false_string: str = "Not Missing", only_missing: bool = False, suffix: str = "_NA", ) -> pd.DataFrame: return pd.concat( objs=[ self._obj, self._obj.missing.create_shadow_matrix2( true_string=true_string, false_string=false_string, only_missing=only_missing, suffix=suffix, ), ], axis="columns", ) def create_shadow_matrix2( self, true_string: str = "Missing", false_string: str = "Not Missing", only_missing: bool = False, suffix: str = "_NA", ) -> pd.DataFrame: return ( self._obj.isna() .pipe(lambda df: df[df.columns[df.any()]] if only_missing else df) .replace({False: false_string, True: true_string}) .add_suffix(suffix) )

Antonio Demarco Bonino

student•

Este es el código que use yo:def scatter_imputation_plot(df, x, y, imputed_col_x, imputed_col_y): plt.figure(figsize=(10, 6)) df_original = df[df[imputed_col_x] == False] plt.scatter(df_original[x], df_original[y], alpha=0.5, label='Original Data', color='blue') df_imputed = df[df[imputed_col_x] == True] plt.scatter(df_imputed[x], df_imputed[y], alpha=0.5, label='Imputed Data', color='orange') plt.xlabel(x) plt.ylabel(y) plt.title('Scatter Plot of Imputed Data') plt.legend() plt.show() nhanes_transform_df_03 = ( nhanes_df .loc[:, ["height_inches", "weight_pounds"]] .assign( height_inches_is_imputed=lambda df: df.height_inches.isna(), weight_pounds_is_imputed=lambda df: df.weight_pounds.isna(), height_inches=lambda df: df.height_inches.fillna(df.height_inches.mean()), weight_pounds=lambda df: df.weight_pounds.fillna(df.weight_pounds.mean()) )) scatter_imputation_plot( nhanes_transform_df_03, x="height_inches", y="weight_pounds", imputed_col_x="height_inches_is_imputed", imputed_col_y="weight_pounds_is_imputed")

def scatter_imputation_plot(df, x, y, imputed_col_x, imputed_col_y):
    plt.figure(figsize=(10, 6))
    df_original = df[df[imputed_col_x] == False] 
    plt.scatter(df_original[x], df_original[y], alpha=0.5, label='Original Data', color='blue')
    df_imputed = df[df[imputed_col_x] == True]  
    plt.scatter(df_imputed[x], df_imputed[y], alpha=0.5, label='Imputed Data', color='orange')
    plt.xlabel(x)
    plt.ylabel(y)
    plt.title('Scatter Plot of Imputed Data')
    plt.legend()
    plt.show()

nhanes_transform_df_03 = (
    nhanes_df
    .loc[:, ["height_inches", "weight_pounds"]]
    .assign(
        height_inches_is_imputed=lambda df: df.height_inches.isna(),
        weight_pounds_is_imputed=lambda df: df.weight_pounds.isna(),
        height_inches=lambda df: df.height_inches.fillna(df.height_inches.mean()),
        weight_pounds=lambda df: df.weight_pounds.fillna(df.weight_pounds.mean())
    )
)

scatter_imputation_plot(
    nhanes_transform_df_03,
    x="height_inches",
    y="weight_pounds",
    imputed_col_x="height_inches_is_imputed",
    imputed_col_y="weight_pounds_is_imputed"
)

Pablo Alejandro Figueroa

student•

Pablo Alejandro Figueroa

student•

Se afirma:

"No hemos modifica nuestros estadísticos de nuestro conjunto de datos"

¿?

Andrés Cardona

student•

Alguien sabe si se actualizó el archivo de pandas-missing-extention.ipynb con el gráfico missing.scatter_imputation_plot()?? O hay un archivo nuevo para este curso? en el archivo que veníamos trabajando en el curso de "datos faltantes: detección y exploración", no está.