Métodos de imputación de valores faltantes

Curso de Manejo de Datos Faltantes: Imputación

Contenido del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:004:41

Métodos de imputación de valores faltantes

Curso de Manejo de Datos Faltantes: Imputación

Clase 8 de 17

Clase 8 / 17

Mario Alexander Vargas Celis

Hace 2 años

La **imputación de valores faltantes** consiste en estimar los valores ausentes en un conjunto de datos utilizando diversos métodos. Estos métodos pueden ser simples o complejos, dependiendo de la cantidad de datos faltantes y de la naturaleza del problema. Aquí se describen los métodos más comunes para la imputación de valores faltantes.

### 1. **Imputación Simple**

Estos métodos son fáciles de implementar y son adecuados cuando la cantidad de datos faltantes es pequeña.

#### a. **Imputación con la Media**

Se reemplazan los valores faltantes por el valor medio de la variable. Es útil cuando los datos están distribuidos de manera uniforme y no hay grandes outliers.


df\['column'] = df\['column'].fillna(df\['column'].mean())

#### b. **Imputación con la Mediana**

Utiliza la mediana para reemplazar los valores faltantes. Es más robusta que la media en presencia de outliers.


df\['column'] = df\['column'].fillna(df\['column'].median())

#### c. **Imputación con la Moda**

Para variables categóricas, la imputación con la moda reemplaza los valores faltantes con la categoría más frecuente.


df\['column'] = df\['column'].fillna(df\['column'].mode()\[0])

### 2. **Imputación Basada en Reglas**

Se puede usar información contextual o reglas específicas del dominio para imputar valores faltantes.

#### a. **Imputación Condicional**

Si una variable tiene una relación lógica con otra, se pueden utilizar reglas basadas en esta relación.


df.loc\[(df\['edad'] > 18) & (df\['estado\_civil'].isnull()), 'estado\_civil'] = 'Soltero'

### 3. **Imputación Multivariante**

Este tipo de imputación usa información de múltiples variables para estimar los valores faltantes. Es más precisa, pero más compleja.

#### a. **Imputación por Regresión**

Utiliza un modelo de regresión (lineal o no lineal) para predecir los valores faltantes a partir de otras variables en el conjunto de datos.


from sklearn.linear\_model import LinearRegression



\# Selección de datos sin valores nulos

train\_data = df.dropna(subset=\['column\_with\_missing\_values'])

train\_X = train\_data\[\['predictor\_1', 'predictor\_2']]

train\_y = train\_data\['column\_with\_missing\_values']



\# Entrenamiento del modelo

model = LinearRegression()

model.fit(train\_X, train\_y)



\# Predicción de los valores faltantes

df.loc\[df\['column\_with\_missing\_values'].isnull(), 'column\_with\_missing\_values'] = model.predict(df\[\['predictor\_1', 'predictor\_2']])

#### b. **Imputación Múltiple (Multiple Imputation by Chained Equations, MICE)**

Este método realiza imputaciones múltiples utilizando una secuencia de modelos de regresión, para luego promediar los resultados. Es robusto y maneja la incertidumbre en los valores imputados.


from sklearn.experimental import enable\_iterative\_imputer

from sklearn.impute import IterativeImputer



\# Imputación iterativa

imputer = IterativeImputer()

df\_imputed = pd.DataFrame(imputer.fit\_transform(df))

### 4. **Imputación con K-Nearest Neighbors (KNN)**

Este método utiliza los valores de las observaciones más cercanas (k-nearest neighbors) para imputar los valores faltantes. Funciona bien cuando los datos tienen relaciones no lineales entre variables.


from sklearn.impute import KNNImputer



\# Imputación con KNN

imputer = KNNImputer(n\_neighbors=5)

df\_imputed = pd.DataFrame(imputer.fit\_transform(df), columns=df.columns)

### 5. **Imputación por Forward y Backward Filling**

Este método llena los valores faltantes utilizando los valores no nulos anteriores o posteriores. Es común en datos de series temporales.

#### a. **Forward Fill**

Rellena los valores faltantes con el último valor no nulo anterior.


df\['column'] = df\['column'].fillna(method='ffill')

#### b. **Backward Fill**

Rellena los valores faltantes con el siguiente valor no nulo.


df\['column'] = df\['column'].fillna(method='bfill')

### Comparación de Métodos

| **Método** | **Ventajas** | **Desventajas** |

|------------------------|--------------------------------------------------------|---------------------------------------------------------------|

| Media, Mediana, Moda | Rápido y fácil de implementar | Puede introducir sesgos o distorsionar la distribución |

| Regresión | Usa la relación entre variables | Complejidad, depende de la calidad del modelo |

| KNN | Captura relaciones no lineales | Computacionalmente costoso para grandes conjuntos de datos |

| MICE | Imputación robusta y manejo de incertidumbre | Complejo de implementar y costoso en tiempo de cálculo |

| Forward/Backward Fill | Útil en datos de series temporales | Puede generar datos poco realistas en ciertos escenarios |

### Conclusión

Elegir el método adecuado de imputación depende del tipo de datos, el contexto y la cantidad de datos faltantes. Para conjuntos de datos pequeños o problemas simples, los métodos como la media o la mediana pueden ser suficientes, mientras que para datos más complejos se recomienda el uso de técnicas multivariantes como la imputación por regresión o MICE.

Comentarios (13)13 comentarios

Alfonso Andres Zapata Guzman

Hace 4 años

Julián Cárdenas

Hace 3 años

Jeinfferson Bernal G

Pablo Alejandro Figueroa

Jovanny Delgado

Nelson Ricardo Ramírez García

José Rodrigo Arana Hi

Andres Sanchez

Bryan Carvajal

Elizabeth Márquez

jhon velasque

Fabricio González Guasque

Hace un año

Juan José Mamani Tarqui

Problemática de valores faltantes

El problema de trabajar con valores faltantes

Proceso de análisis y limpieza de datos

Visualizar y eliminar valores faltantes

Implicaciones de los distintos tipos de valores faltantes

Amplía tu conjunto de herramientas para explorar valores faltantes

Tratamiento de variables categóricas para imputación: codificación ordinal

Tratamiento de variables categóricas para imputación: one-hot encoding

Métodos de imputación de valores faltantes

Imputación basada en el donante

Imputación por media, mediana y moda

Imputación por llenado hacia atrás y hacia adelante

Imputación por interpolación

Imputación por KNN

Imputación por KNN en Python

Imputación basada en modelos

Introducción a la imputación basada en modelos

Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Conclusión

Transformación inversa de los datos

¿Cómo continuar practicando?

Métodos de imputación de valores faltantes

Progreso del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión