Imputación básica de datos

Clase 19 de 21 • Curso de Manejo de Datos Faltantes: Detección y Exploración

Jeinfferson Bernal G

student•

Imputacion con base en el contexto

Implica conocer la estructura de los datos por lo que podemos completar las entradas vacias. Para este ejemplo, tenemos un conjunto de datos:

implicit_to_explicit_df = pd.DataFrame(
    data={
        "name": ["lynn", np.nan, "zelda", np.nan, "shadowsong", np.nan],
        "time": ["morning", "afternoon", "morning", "afternoon", "morning", "afternoon",],
        "value": [350, 310, 320, 350, 310, 320]
    }
)

implicit_to_explicit_df

Claramente vemos que los valores de name podemos rellenarlos debido a que el contexto nos indica que son los nombres de la celda de arriba

implicit_to_explicit_df.ffill() #Rellena los nan con los valores de la celda de arriba

Jeinfferson Bernal G

student•

Imputacion de un unico valor

Se da cuando el contexto no ayuda a completar un valor faltante y por tanto requieres imputar un unico valor con algun estadistico

Para este ejemplo, utilizamos del dataframe riskfactors solo las variables Peso, Altura y bmi. Aplicamos el valor promedio a los valores faltantes de cada columna y al mismo tiempo creamos la shadow matrix para luego graficar

(
    riskfactors_df
    .select_columns('weight_lbs', 'height_inch', 'bmi')
    .missing.bind_shadow_matrix(true_string=True, false_string=False) 
    .apply(
        axis = 'rows',
        func = lambda column: column.fillna(column.mean()) if '_NA' not in column.name else column
    )
)

Ahora graficamos los datos con los valores imputados y obtenemos un grafico donde podemos observar que los valores imputados tienen valores que estan en la media de los datos

#Grafica de los datos con los valores imputados
(
    riskfactors_df
    .select_columns('weight_lbs', 'height_inch', 'bmi')
    .missing.bind_shadow_matrix(true_string=True, false_string=False) 
    .apply(
        axis = 'rows',
        func = lambda column: column.fillna(column.mean()) if '_NA' not in column.name else column
    )
    .pipe(
        lambda df: (
            sns.displot(
                data=df,
                x='weight_lbs',
                hue='weight_lbs_NA'
            )
        )
    )
)

Jeinfferson Bernal G

student•

Imputacion Basica de Datos

Consiste en reemplazar los valores faltantes por algun valor, bien sea estadistico, algun valor por contexto o valores obtenidos mediante un modelo de Machine Learning

Alfonso Andres Zapata Guzman

student•

Hay un minimo detallle con la asignacion de una columna de valores imputados, y es que esta columna representa exactamente lo mismo que la columna BMI_NA, solo que con distinto nombre, esto debido a que para calcular el BMI, si o si hay que tener el valor de altura y del peso, si alguno de los dos falta, no podemos calcular el valor del BMI, por lo cual las filas de BMI estarian sin ese dato si alguna de estas dos columnas tenian dato faltante, es un detalle de mera casualidad, ya que el proceso realizado por el profesor es el correcto.

hue="bmi_NA"

# Genera el mismo scatterplot.

Pero esto en un caso en que se tomen varias columnas no relacionadas, no sucedera.

Tomas Pucutay

student•

Para lo que están siguiendo los métodos de las clases: Les dejo otra aproximación para obtener la misma imputación por valores promedios, así pueden practicar distintos métodos de pandas. En lugar de APPLY, uso FILLNA (que puede llenar basado en un diccionario de valores), aquí el código:

(
    riskfactors_df
    .select_columns("weight_lbs", "height_inch", "bmi")
    .missing.bind_shadow_matrix(true_string=True, false_string=False)
    .fillna(
        riskfactors_df.select_columns("weight_lbs", "height_inch", "bmi").astype("float64").mean().to_dict()
    )
)

Alberto Duque Villegas

student•

En el minuto 5 con 37 segundos, la explicación de

if "_NA" not in column.name else column

no es correcta; esta parte de la expresión condicional verifica si "_NA" no está presente en el nombre de la columna. Si no está presente, se realiza el llenado con la media. Si "_NA" está presente, la columna se deja sin cambios (se llena con ella misma).

Pablo Alejandro Figueroa

student•

gracias..! tal cual dices, es.

Mauricio Escobar

student•

para el warning del "blabla futuras versiones #nosepuede" al usar .fillna()

Lo pude "arreglar" configurando comportamiento recomendado para futuras versiones de pandas. Lo que asegura que nuestro código sea compatible al actualizar pandas y evita el downcasting silencioso de tipos de datos (o sea, pasar datos por ejemplo de float a int de manera automática)

pd.set_option('future.no_silent_downcasting', True)
``` *(versión de pandas -> 2.2.1)*

* Ojo, no estamos ignorando el warning al usar esta línea de código.&#x20;

Pablo Alejandro Figueroa

student•

Me parece que:

es correcto realizar algún tipo de imputación al peso y a la altura (en este caso la media de cada respectiva columna)
para "bmi" sería más correcto calcular el valor dadas las imputaciones precedentes y no imputarle un dato-valor promedio.

Mario Alexander Vargas Celis

student•

La **imputación de datos** es una técnica para reemplazar valores faltantes en un conjunto de datos con valores estimados, evitando así la eliminación de información útil. Existen varias estrategias para la imputación, desde técnicas básicas hasta métodos más complejos. A continuación, exploraremos las técnicas básicas de imputación:

### 1. **Imputación con una constante (valor fijo)**

Una técnica sencilla consiste en reemplazar los valores faltantes por un valor constante, como 0, una cadena vacía o un valor que tenga sentido para el contexto.

#### Ejemplo en Pandas:


import pandas as pd



\# Crear un DataFrame de ejemplo con valores faltantes

data = {'Variable1': \[1, None, 3, None, 5],

&#x20;       'Variable2': \[None, 2, None, 4, None]}

df = pd.DataFrame(data)



\# Imputar valores faltantes con un valor constante (por ejemplo, 0)

df\_constant = df.fillna(0)



print("Imputación con un valor constante:")

print(df\_constant)

### 2. **Imputación con la media**

Este método reemplaza los valores faltantes con la **media** de la variable. Es adecuado cuando los datos están distribuidos simétricamente, pero puede no ser ideal en presencia de valores atípicos.

#### Ejemplo en Pandas:


\# Imputar valores faltantes con la media de cada columna

df\_mean = df.fillna(df.mean())



print("Imputación con la media:")

print(df\_mean)

### 3. **Imputación con la mediana**

La **mediana** es una opción útil cuando los datos tienen una distribución asimétrica o contienen valores atípicos, ya que la mediana es menos sensible a estos.

#### Ejemplo en Pandas:


\# Imputar valores faltantes con la mediana de cada columna

df\_median = df.fillna(df.median())



print("Imputación con la mediana:")

print(df\_median)

### 4. **Imputación con la moda**

Para variables categóricas o discretas, es común imputar los valores faltantes con la **moda**, que es el valor más frecuente en la variable.

#### Ejemplo en Pandas:


\# Imputar valores faltantes con la moda de cada columna

df\_mode = df.fillna(df.mode().iloc\[0])



print("Imputación con la moda:")

print(df\_mode)

### 5. **Imputación hacia adelante (Forward Fill)**

Este método, también conocido como **"forward fill"**, reemplaza los valores faltantes con el último valor válido previo.

#### Ejemplo en Pandas:


\# Imputación hacia adelante (forward fill)

df\_ffill = df.fillna(method='ffill')



print("Imputación hacia adelante:")

print(df\_ffill)

### 6. **Imputación hacia atrás (Backward Fill)**

El método **"backward fill"** rellena los valores faltantes utilizando el siguiente valor válido en la columna.

#### Ejemplo en Pandas:


\# Imputación hacia atrás (backward fill)

df\_bfill = df.fillna(method='bfill')



print("Imputación hacia atrás:")

print(df\_bfill)

---

### Comparación de Técnicas:

- **Constante:** Útil cuando un valor específico tiene sentido, pero puede distorsionar el análisis si no se selecciona correctamente.

- **Media/Mediana/Moda:** Conservan la tendencia central de los datos, pero no tienen en cuenta la varianza o estructura de los mismos.

- **Forward/Backward Fill:** Buenas para datos temporales o secuenciales, pero pueden no ser adecuadas si los valores cercanos no son representativos.

Estas técnicas básicas son útiles en muchas situaciones, pero si los datos faltantes son significativos o no están distribuidos al azar, puede ser necesario recurrir a métodos más avanzados como imputación múltiple o modelos predictivos.

Matías Collado

student•

¿Cual es el límite de imputaciones usando estadísticos? Si quisieramos rellenar varios valores, estaríamos afectando la distribución de los datos (imputar por media puede sesgar la distribución hacia el centro). Se me ocurre que si queremos imputar varios valores entonces podríamos usar la probabilidad de la distribución, es decir, de 100 valores que imputemos, tendrán la mayor probabilidad de imputarse en la media pero también será probable que se imputen en el resto de la distribución de los datos.

CHATGPT:

Existen varios métodos para imputar valores faltantes, algunos de los cuales incluyen:

Imputación por media, mediana o moda: En este enfoque, los valores faltantes se reemplazan por la media, mediana o moda de la columna respectiva en la que se encuentran los valores faltantes. Esto es útil cuando los datos faltantes son valores atípicos y no queremos influir demasiado en la distribución de los datos.
Imputación por valores cercanos: Se utilizan valores de observaciones cercanas para estimar los valores faltantes. Esto puede incluir técnicas como la interpolación lineal o basada en vecinos más cercanos.
Imputación por regresión: Se utiliza un modelo de regresión para predecir los valores faltantes basándose en otras variables independientes.
Imputación múltiple: Se crean múltiples conjuntos de datos completos utilizando un modelo predictivo para estimar los valores faltantes. Luego, se combinan los resultados de estos conjuntos de datos para obtener una estimación final.
Imputación basada en el dominio: Se utilizan conocimientos expertos o reglas específicas del dominio para imputar los valores faltantes.
Imputación basada en modelos de distribución: En lugar de simplemente imputar valores con la media, mediana o algún otro estadístico descriptivo, se pueden ajustar modelos de distribución a los datos completos y luego utilizar estos modelos para generar valores imputados. Por ejemplo, si los datos siguen una distribución normal, se podrían ajustar parámetros de media y desviación estándar a los datos completos y luego generar valores imputados aleatorios de esta distribución.
Múltiples imputaciones: En lugar de generar un solo valor imputado, se pueden generar múltiples valores imputados para cada observación utilizando un método de imputación basado en modelos. Estos múltiples conjuntos de datos imputados se pueden utilizar para propagar la incertidumbre en los análisis posteriores.
Imputación basada en variables auxiliares: Si hay variables auxiliares en el conjunto de datos que están relacionadas con la variable con valores faltantes, se pueden utilizar estas variables para mejorar la imputación. Por ejemplo, se pueden ajustar modelos de regresión utilizando variables auxiliares para predecir los valores faltantes.
Imputación secuencial: En este enfoque, se imputan valores uno por uno en lugar de imputar todos los valores faltantes simultáneamente. La imputación de un valor puede depender de los valores imputados previamente en el mismo conjunto de datos, lo que ayuda a preservar la estructura y la correlación entre las variables.
Imputación basada en métodos de remuestreo: Algunas técnicas de imputación, como la imputación múltiple por cadenas de Markov Monte Carlo (MCMC), utilizan métodos de remuestreo para generar valores imputados que respeten la estructura de correlación de los datos originales.

A pesar de ser una técnica útil, la imputación de valores faltantes tiene algunas limitaciones y consideraciones importantes:

Introducción de sesgo: Dependiendo del método utilizado, la imputación puede introducir sesgos en los datos. Por ejemplo, la imputación por media puede sesgar la distribución de los datos hacia el centro.
Aumento de la varianza: La imputación puede aumentar la varianza de los datos, lo que puede afectar la precisión de los análisis posteriores.
Preservación de la estructura de los datos: Es importante que la imputación preserve la estructura y las relaciones de los datos originales tanto como sea posible.
Selección del método adecuado: La elección del método de imputación adecuado depende del tipo de datos y del problema específico en cuestión. No existe un enfoque único que funcione mejor en todos los casos

Juan José Mamani Tarqui

student•

Imputación básica de datos

La imputación de datos se refiere al proceso de reemplazar los valores faltantes en un conjunto de datos con valores estimados. Existen diferentes estrategias de imputación, y una de las más simples es llenar los valores faltantes con estadísticas descriptivas como la media, la mediana o la moda. Aquí te muestro cómo hacerlo con pandas en Python:

pythonCopy codeimport pandas as pd import numpy as np

# Crear un DataFrame de ejemplo con valores faltantes data = {'A': [1, 2, np.nan, 4, 5], 'B': [1, np.nan, 3, np.nan, 5], 'C': [1, 2, 3, 4, np.nan]}

df = pd.DataFrame(data)

# Imputar valores faltantes usando la media mean_imputed_df = df.fillna(df.mean())

# Imputar valores faltantes usando la mediana median_imputed_df = df.fillna(df.median())

# Imputar valores faltantes usando la moda mode_imputed_df = df.fillna(df.mode().iloc[0])

print("DataFrame original:") print(df) print("\nImputación con la media:") print(mean_imputed_df) print("\nImputación con la mediana:") print(median_imputed_df) print("\nImputación con la moda:") print(mode_imputed_df)

La salida en la consola sería algo así:

lessCopy codeDataFrame original: A B C 0 1.0 1.0 1.0 1 2.0 NaN 2.0 2 NaN 3.0 3.0 3 4.0 NaN 4.0 4 5.0 5.0 NaN

Imputación con la media: A B C 0 1.0 1.0 1.0 1 2.0 3.0 2.0 2 3.0 3.0 3.0 3 4.0 3.0 4.0 4 5.0 5.0 2.5

Imputación con la mediana: A B C 0 1.0 1.0 1.0 1 2.0 3.0 2.0 2 3.0 3.0 3.0 3 4.0 3.0 4.0 4 5.0 5.0 2.5

Imputación con la moda: A B C 0 1.0 1.0 1.0 1 2.0 3.0 2.0 2 1.0 3.0 3.0 3 4.0 3.0 4.0 4 5.0 5.0 1.0

En los DataFrames resultantes, los valores faltantes han sido imputados utilizando la media, la mediana y la moda, respectivamente. Ten en cuenta que las estrategias de imputación pueden afectar la distribución y la interpretación de tus datos, así que elige la estrategia que mejor se ajuste a tu contexto específico.

implicit_to_explicit_df = pd.DataFrame(
    data={
        "name": ["lynn", np.nan, "zelda", np.nan, "shadowsong", np.nan],
        "time": ["morning", "afternoon", "morning", "afternoon", "morning", "afternoon",],
        "value": [350, 310, 320, 350, 310, 320]
    }
)

implicit_to_explicit_df

(
    riskfactors_df
    .select_columns('weight_lbs', 'height_inch', 'bmi')
    .missing.bind_shadow_matrix(true_string=True, false_string=False) 
    .apply(
        axis = 'rows',
        func = lambda column: column.fillna(column.mean()) if '_NA' not in column.name else column
    )
)

#Grafica de los datos con los valores imputados
(
    riskfactors_df
    .select_columns('weight_lbs', 'height_inch', 'bmi')
    .missing.bind_shadow_matrix(true_string=True, false_string=False) 
    .apply(
        axis = 'rows',
        func = lambda column: column.fillna(column.mean()) if '_NA' not in column.name else column
    )
    .pipe(
        lambda df: (
            sns.displot(
                data=df,
                x='weight_lbs',
                hue='weight_lbs_NA'
            )
        )
    )
)

(
    riskfactors_df
    .select_columns("weight_lbs", "height_inch", "bmi")
    .missing.bind_shadow_matrix(true_string=True, false_string=False)
    .fillna(
        riskfactors_df.select_columns("weight_lbs", "height_inch", "bmi").astype("float64").mean().to_dict()
    )
)

import pandas as pd

\# Crear un DataFrame de ejemplo con valores faltantes

data = {'Variable1': \[1, None, 3, None, 5],

&#x20;       'Variable2': \[None, 2, None, 4, None]}

df = pd.DataFrame(data)

\# Imputar valores faltantes con un valor constante (por ejemplo, 0)

df\_constant = df.fillna(0)

print("Imputación con un valor constante:")

print(df\_constant)

Imputación básica de datos

Introducción a los valores faltantes

¿Por qué explorar y lidiar con valores faltantes?

Operaciones con valores faltantes

Conociendo datasets para manejo de datos faltantes

Ejecución de Notebooks en Deepnote con %run

Extendiendo la API de Pandas

Tabulación de valores faltantes

Visualización de valores faltantes

Manipulación inicial de valores faltantes

Codificación de valores faltantes

Conversión de valores faltantes implícitos en explícitos

Exponer filas faltantes implícitas en explícitas

Tipos de valores faltantes

MCAR, MAR, MNAR en Python

Búsqueda de relaciones de valores faltantes

Matriz de sombras: shadow matrix

Visualización de valores faltantes en una variable

Visualización de valores faltantes en dos variables

Scatterplot con valores faltantes

Correlación de nulidad

Tratamiento de valores faltantes

Eliminación de valores faltantes: pairwise y listwise

Imputación básica de datos

Bonus: visualización múltiple de imputaciones

Cierre de curso

Continúa aprendiendo sobre el manejo de valores faltantes