Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Curso de Manejo de Datos Faltantes: Imputación

Contenido del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0013:05

Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Curso de Manejo de Datos Faltantes: Imputación

Clase 15 de 17

Clase 15 / 17

Jesús Alberto Romero Hernández

Hace un año

Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Concepto

MICE es uno de los métodos de imputación más robustos y ampliamente recomendados, especialmente cuando hay patrones de valores faltantes complejos y múltiples variables con datos ausentes. Se basa en la idea de que imputar una sola vez subestima la incertidumbre asociada con los valores imputados.

En lugar de imputar un solo valor, MICE genera m (generalmente entre 5 y 20) conjuntos de datos completos. Cada conjunto de datos completo se crea imputando los valores faltantes de manera iterativa, utilizando modelos predictivos basados en las otras variables. Los valores imputados en cada iteración se basan en las imputaciones de la iteración anterior, creando una "cadena" de ecuaciones. Una vez que se tienen los m conjuntos de datos, el análisis se realiza por separado en cada uno, y los resultados se combinan utilizando las reglas de Rubin.

El "encadenado" se refiere a que la predicción de cada variable se basa en las imputaciones actuales de las otras variables en la misma iteración, creando un ciclo de refinamiento. Lo "múltiple" se refiere a que este proceso se ejecuta varias veces (típicamente 5 a 20 veces), cada vez con un elemento de aleatoriedad, para generar varios conjuntos de datos completos.

¿Cómo funciona?

Inicialización: Para cada variable con valores faltantes, se rellenan los valores faltantes con una imputación inicial (e.g., media, mediana, o un muestreo aleatorio).
Iteración (Ecuaciones Encadenadas): Se repite el siguiente proceso para un número predefinido de iteraciones (e.g., 10-20):
- Para cada variable Yj que tiene valores faltantes:
  - Considera los valores imputados de Yj en la iteración anterior como "faltantes" nuevamente.
  - Ajusta un modelo predictivo (por ejemplo, regresión lineal para variables numéricas, regresión logística para binarias, regresión politómica para categóricas) donde Yj es la variable dependiente y todas las demás variables (incluyendo las ya imputadas en esta iteración) son las predictoras.
  - Predice y "rellena" los valores faltantes de Yj usando el modelo ajustado. Crucialmente, se agrega una componente de ruido aleatorio a las predicciones para simular la incertidumbre, o se muestrean los valores de la distribución predictiva.
Generación de M Conjuntos: Después de un número suficiente de iteraciones para que la convergencia sea razonable, se guardan m copias del conjunto de datos. En cada copia, los valores faltantes se habrán imputado de manera ligeramente diferente debido a la naturaleza estocástica del proceso.
Análisis y Combinación:
- Cada uno de los m conjuntos de datos se analiza por separado utilizando el modelo estadístico o de Machine Learning deseado (e.g., entrenar un clasificador, realizar una regresión).
- Los resultados (e.g., coeficientes de regresión, errores estándar, R-cuadrado, etc.) de los m análisis se combinan utilizando las reglas de Rubin. Estas reglas proporcionan una estimación combinada y ajustan los errores estándar para reflejar tanto la incertidumbre dentro de cada conjunto imputado como la incertidumbre entre los diferentes conjuntos imputados.

Modelos Predictivos Utilizados en MICE (ejemplos)

Variables Numéricas: Regresión lineal, regresión bayesiana, árboles de decisión, etc.
Variables Binarias: Regresión logística.
Variables Categóricas (más de 2 niveles): Regresión logística multinomial, regresión logística ordinal.
Variables de Conteo: Regresión de Poisson.

Ejemplo Paso a Paso

Vamos a usar un ejemplo. Supongamos que tienes un DataFrame con tres variables, Edad, Ingresos y Horas_Estudio_Semana, y hay valores faltantes en Ingresos y Horas_Estudio_Semana.

Dataset de Ejemplo (Inicial):

IDEdadIngresosHoras_Estudio_Semana1254500010230NaN1232238000NaN428500008535NaNNaN6274200015

Objetivo: Imputar Ingresos y Horas_Estudio_Semana.

Paso 1: Inicialización (Imputación Primitiva)

Antes de empezar las iteraciones sofisticadas, MICE necesita un punto de partida. Todos los valores faltantes se rellenan con una imputación simple, como la media de su respectiva columna.

Ingresos (promedio de los no-NaNs): (45000 + 38000 + 50000 + 42000) / 4 = 43750
Horas_Estudio_Semana (promedio de los no-NaNs): (10 + 12 + 8 + 15) / 4 = 11.25

Dataset Después de Inicialización:

IDEdadIngresosHoras_Estudio_Semana125450001023043750123223800011.254285000085354375011.256274200015

Paso 2: Iteraciones de Ecuaciones Encadenadas (El Corazón de MICE)

Este es un ciclo que se repite varias veces (ej. 10 a 20 veces). En cada iteración, se procesa cada variable con valores faltantes en un orden específico.

Iteración 1:

Imputar Ingresos:*Supongamos que el modelo predice:*Dataset después de Imputar Ingresos en Iteración 1:IDEdadIngresosHoras_Estudio_Semana125450001023048050123223800011.254285000085355512011.256274200015
1. Temporalmente, considera los valores de Ingresos que se imputaron en la inicialización como "faltantes" de nuevo (ID 2, 5).
2. Entrena un modelo predictivo (ej. Regresión Lineal) para predecir Ingresos usando Edad y Horas_Estudio_Semana como predictores. Para Horas_Estudio_Semana, usa sus valores actuales (incluyendo los imputados en la inicialización).
3. Usa este modelo para predecir los valores de Ingresos para los IDs 2 y 5. Crucialmente, a esta predicción se le añade un residuo aleatorio (muestreado de los residuos del modelo entrenado). Esto es lo que introduce la incertidumbre y variabilidad necesaria para la imputación múltiple.
4. Actualiza los valores de Ingresos con estas nuevas imputaciones.
- Para ID 2 (Edad=30, Horas=12): Predicción de Ingresos = 48000 + (ruido aleatorio)
- Para ID 5 (Edad=35, Horas=11.25): Predicción de Ingresos = 55000 + (ruido aleatorio)
Imputar Horas_Estudio_Semana:*Supongamos que el modelo predice:*Dataset después de Imputar Horas_Estudio_Semana en Iteración 1 (y fin de Iteración 1):IDEdadIngresosHoras_Estudio_Semana12545000102304805012322380009.24285000085355512013.56274200015
1. Temporalmente, considera los valores de Horas_Estudio_Semana que se imputaron en la inicialización como "faltantes" de nuevo (ID 3, 5).
2. Entrena un modelo predictivo (ej. Regresión Lineal) para predecir Horas_Estudio_Semana usando Edad e Ingresos como predictores. Para Ingresos, usa sus valores actuales (¡que ahora incluyen los recién imputados en el paso anterior de esta misma iteración!).
3. Usa este modelo para predecir los valores de Horas_Estudio_Semana para los IDs 3 y 5, añadiendo también ruido aleatorio.
4. Actualiza los valores de Horas_Estudio_Semana con estas nuevas imputaciones.
- Para ID 3 (Edad=22, Ingresos=38000): Predicción de Horas = 9 + (ruido aleatorio)
- Para ID 5 (Edad=35, Ingresos=55120): Predicción de Horas = 13 + (ruido aleatorio)

Este proceso de "encadenamiento" continúa para un número predefinido de iteraciones (ej. 10-20). Las imputaciones se refinan en cada ciclo, ya que los modelos usan datos más precisos de las otras variables. Se monitorea la convergencia (que las distribuciones de los valores imputados se estabilicen) para asegurar que se hagan suficientes iteraciones.

Paso 3: Generación de M Conjuntos de Datos Completos

El proceso del Paso 2 (Inicialización + N Iteraciones Encadenadas) se repite M veces (ej. M=5, M=10, M=20).

Debido al componente de ruido aleatorio en el paso de predicción, cada una de estas M ejecuciones dará como resultado un conjunto de datos ligeramente diferente en sus valores imputados.

Al final, tendrás M conjuntos de datos completos, cada uno representando una posible versión de los datos si no hubieran tenido valores faltantes, manteniendo la variabilidad.

Ejemplo de 3 Conjuntos Imputados (hipotético):

Dataset 1 (Imputado)

IDEdadIngresosHoras_Estudio_Semana......48050............9.2......5512013.5

Dataset 2 (Imputado)

IDEdadIngresosHoras_Estudio_Semana......47900............9.8......5490013.1

Dataset 3 (Imputado)

IDEdadIngresosHoras_Estudio_Semana......48200............9.5......5530013.8

Paso 4: Análisis de Cada Conjunto y Combinación de Resultados (Reglas de Rubin)

Una vez que tienes tus M conjuntos de datos completos, realizas el análisis estadístico o de Machine Learning por separado en cada uno de ellos.

Si estás haciendo una regresión lineal, obtendrás M conjuntos de coeficientes, M errores estándar, etc.
Si estás entrenando un modelo de clasificación, obtendrás M precisiones, M F1-scores, etc.

Finalmente, los resultados de estos M análisis se combinan utilizando las Reglas de Rubin. Estas reglas son fórmulas matemáticas que proporcionan una estimación combinada (por ejemplo, el promedio de los coeficientes) y, crucialmente, ajustan los errores estándar para tener en cuenta dos fuentes de variabilidad:

Varianza intra-imputación: La incertidumbre del modelo dentro de cada conjunto de datos imputado.
Varianza inter-imputación: La incertidumbre debido a las diferencias entre los M conjuntos imputados (que provienen del ruido aleatorio añadido).

Al combinar estas dos fuentes de varianza, las Reglas de Rubin aseguran que los errores estándar finales y los intervalos de confianza sean más precisos y reflejen la verdadera incertidumbre introducida por la imputación. Esto permite realizar inferencias estadísticas válidas.

Problemática de valores faltantes

El problema de trabajar con valores faltantes

Proceso de análisis y limpieza de datos

Visualizar y eliminar valores faltantes

Implicaciones de los distintos tipos de valores faltantes

Amplía tu conjunto de herramientas para explorar valores faltantes

Tratamiento de variables categóricas para imputación: codificación ordinal

Tratamiento de variables categóricas para imputación: one-hot encoding

Métodos de imputación de valores faltantes

Imputación basada en el donante

Imputación por media, mediana y moda

Imputación por llenado hacia atrás y hacia adelante

Imputación por interpolación

Imputación por KNN

Imputación por KNN en Python

Imputación basada en modelos

Introducción a la imputación basada en modelos

Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Conclusión

Transformación inversa de los datos

¿Cómo continuar practicando?

Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Progreso del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión