Imputación básica de datos
Contenido del curso
Jeinfferson Bernal G
Jeinfferson Bernal G
Jeinfferson Bernal G
Alfonso Andres Zapata Guzman
Tomas Pucutay
Alberto Duque Villegas
Pablo Alejandro Figueroa
Mauricio Escobar
Pablo Alejandro Figueroa
Mario Alexander Vargas Celis
Matías Collado
Juan José Mamani Tarqui
Imputacion con base en el contexto
Implica conocer la estructura de los datos por lo que podemos completar las entradas vacias. Para este ejemplo, tenemos un conjunto de datos:
implicit_to_explicit_df = pd.DataFrame( data={ "name": ["lynn", np.nan, "zelda", np.nan, "shadowsong", np.nan], "time": ["morning", "afternoon", "morning", "afternoon", "morning", "afternoon",], "value": [350, 310, 320, 350, 310, 320] } ) implicit_to_explicit_df
Claramente vemos que los valores de name podemos rellenarlos debido a que el contexto nos indica que son los nombres de la celda de arriba
implicit_to_explicit_df.ffill() #Rellena los nan con los valores de la celda de arriba
Imputacion de un unico valor
Se da cuando el contexto no ayuda a completar un valor faltante y por tanto requieres imputar un unico valor con algun estadistico
( riskfactors_df .select_columns('weight_lbs', 'height_inch', 'bmi') .missing.bind_shadow_matrix(true_string=True, false_string=False) .apply( axis = 'rows', func = lambda column: column.fillna(column.mean()) if '_NA' not in column.name else column ) )
#Grafica de los datos con los valores imputados ( riskfactors_df .select_columns('weight_lbs', 'height_inch', 'bmi') .missing.bind_shadow_matrix(true_string=True, false_string=False) .apply( axis = 'rows', func = lambda column: column.fillna(column.mean()) if '_NA' not in column.name else column ) .pipe( lambda df: ( sns.displot( data=df, x='weight_lbs', hue='weight_lbs_NA' ) ) ) )
Imputacion Basica de Datos
Consiste en reemplazar los valores faltantes por algun valor, bien sea estadistico, algun valor por contexto o valores obtenidos mediante un modelo de Machine Learning
Hay un minimo detallle con la asignacion de una columna de valores imputados, y es que esta columna representa exactamente lo mismo que la columna BMI_NA, solo que con distinto nombre, esto debido a que para calcular el BMI, si o si hay que tener el valor de altura y del peso, si alguno de los dos falta, no podemos calcular el valor del BMI, por lo cual las filas de BMI estarian sin ese dato si alguna de estas dos columnas tenian dato faltante, es un detalle de mera casualidad, ya que el proceso realizado por el profesor es el correcto.
hue="bmi_NA" # Genera el mismo scatterplot.
Pero esto en un caso en que se tomen varias columnas no relacionadas, no sucedera.
Para lo que están siguiendo los métodos de las clases: Les dejo otra aproximación para obtener la misma imputación por valores promedios, así pueden practicar distintos métodos de pandas. En lugar de APPLY, uso FILLNA (que puede llenar basado en un diccionario de valores), aquí el código:
( riskfactors_df .select_columns("weight_lbs", "height_inch", "bmi") .missing.bind_shadow_matrix(true_string=True, false_string=False) .fillna( riskfactors_df.select_columns("weight_lbs", "height_inch", "bmi").astype("float64").mean().to_dict() ) )
En el minuto 5 con 37 segundos, la explicación de
if "_NA" not in column.name else column
no es correcta; esta parte de la expresión condicional verifica si "_NA" no está presente en el nombre de la columna. Si no está presente, se realiza el llenado con la media. Si "_NA" está presente, la columna se deja sin cambios (se llena con ella misma).
gracias..! tal cual dices, es.
para el warning del "blabla futuras versiones #nosepuede" al usar .fillna()
Lo pude "arreglar" configurando comportamiento recomendado para futuras versiones de pandas. Lo que asegura que nuestro código sea compatible al actualizar pandas y evita el downcasting silencioso de tipos de datos (o sea, pasar datos por ejemplo de float a int de manera automática)
pd.set_option('future.no_silent_downcasting', True) ``` *(versión de pandas -> 2.2.1)* * Ojo, no estamos ignorando el warning al usar esta línea de código. 
Me parece que:
La **imputación de datos** es una técnica para reemplazar valores faltantes en un conjunto de datos con valores estimados, evitando así la eliminación de información útil. Existen varias estrategias para la imputación, desde técnicas básicas hasta métodos más complejos. A continuación, exploraremos las técnicas básicas de imputación:
### 1. **Imputación con una constante (valor fijo)**
Una técnica sencilla consiste en reemplazar los valores faltantes por un valor constante, como 0, una cadena vacía o un valor que tenga sentido para el contexto.
#### Ejemplo en Pandas:
import pandas as pd \# Crear un DataFrame de ejemplo con valores faltantes data = {'Variable1': \[1, None, 3, None, 5],   'Variable2': \[None, 2, None, 4, None]} df = pd.DataFrame(data) \# Imputar valores faltantes con un valor constante (por ejemplo, 0) df\_constant = df.fillna(0) print("Imputación con un valor constante:") print(df\_constant)
### 2. **Imputación con la media**
Este método reemplaza los valores faltantes con la **media** de la variable. Es adecuado cuando los datos están distribuidos simétricamente, pero puede no ser ideal en presencia de valores atípicos.
#### Ejemplo en Pandas:
\# Imputar valores faltantes con la media de cada columna df\_mean = df.fillna(df.mean()) print("Imputación con la media:") print(df\_mean)
### 3. **Imputación con la mediana**
La **mediana** es una opción útil cuando los datos tienen una distribución asimétrica o contienen valores atípicos, ya que la mediana es menos sensible a estos.
#### Ejemplo en Pandas:
\# Imputar valores faltantes con la mediana de cada columna df\_median = df.fillna(df.median()) print("Imputación con la mediana:") print(df\_median)
### 4. **Imputación con la moda**
Para variables categóricas o discretas, es común imputar los valores faltantes con la **moda**, que es el valor más frecuente en la variable.
#### Ejemplo en Pandas:
\# Imputar valores faltantes con la moda de cada columna df\_mode = df.fillna(df.mode().iloc\[0]) print("Imputación con la moda:") print(df\_mode)
### 5. **Imputación hacia adelante (Forward Fill)**
Este método, también conocido como **"forward fill"**, reemplaza los valores faltantes con el último valor válido previo.
#### Ejemplo en Pandas:
\# Imputación hacia adelante (forward fill) df\_ffill = df.fillna(method='ffill') print("Imputación hacia adelante:") print(df\_ffill)
### 6. **Imputación hacia atrás (Backward Fill)**
El método **"backward fill"** rellena los valores faltantes utilizando el siguiente valor válido en la columna.
#### Ejemplo en Pandas:
\# Imputación hacia atrás (backward fill) df\_bfill = df.fillna(method='bfill') print("Imputación hacia atrás:") print(df\_bfill)
---
### Comparación de Técnicas:
- **Constante:** Útil cuando un valor específico tiene sentido, pero puede distorsionar el análisis si no se selecciona correctamente.
- **Media/Mediana/Moda:** Conservan la tendencia central de los datos, pero no tienen en cuenta la varianza o estructura de los mismos.
- **Forward/Backward Fill:** Buenas para datos temporales o secuenciales, pero pueden no ser adecuadas si los valores cercanos no son representativos.
Estas técnicas básicas son útiles en muchas situaciones, pero si los datos faltantes son significativos o no están distribuidos al azar, puede ser necesario recurrir a métodos más avanzados como imputación múltiple o modelos predictivos.
¿Cual es el límite de imputaciones usando estadísticos? Si quisieramos rellenar varios valores, estaríamos afectando la distribución de los datos (imputar por media puede sesgar la distribución hacia el centro). Se me ocurre que si queremos imputar varios valores entonces podríamos usar la probabilidad de la distribución, es decir, de 100 valores que imputemos, tendrán la mayor probabilidad de imputarse en la media pero también será probable que se imputen en el resto de la distribución de los datos.
CHATGPT:
Existen varios métodos para imputar valores faltantes, algunos de los cuales incluyen:
A pesar de ser una técnica útil, la imputación de valores faltantes tiene algunas limitaciones y consideraciones importantes:
Imputación básica de datos
La imputación de datos se refiere al proceso de reemplazar los valores faltantes en un conjunto de datos con valores estimados. Existen diferentes estrategias de imputación, y una de las más simples es llenar los valores faltantes con estadísticas descriptivas como la media, la mediana o la moda. Aquí te muestro cómo hacerlo con pandas en Python:
pythonCopy codeimport pandas as pd
import numpy as np
# Crear un DataFrame de ejemplo con valores faltantes
data = {'A': [1, 2, np.nan, 4, 5],
'B': [1, np.nan, 3, np.nan, 5],
'C': [1, 2, 3, 4, np.nan]}
df = pd.DataFrame(data)
# Imputar valores faltantes usando la media
mean_imputed_df = df.fillna(df.mean())
# Imputar valores faltantes usando la mediana
median_imputed_df = df.fillna(df.median())
# Imputar valores faltantes usando la moda
mode_imputed_df = df.fillna(df.mode().iloc[0])
print("DataFrame original:")
print(df)
print("\nImputación con la media:")
print(mean_imputed_df)
print("\nImputación con la mediana:")
print(median_imputed_df)
print("\nImputación con la moda:")
print(mode_imputed_df)
La salida en la consola sería algo así:
lessCopy codeDataFrame original:
A B C
0 1.0 1.0 1.0
1 2.0 NaN 2.0
2 NaN 3.0 3.0
3 4.0 NaN 4.0
4 5.0 5.0 NaN
Imputación con la media:
A B C
0 1.0 1.0 1.0
1 2.0 3.0 2.0
2 3.0 3.0 3.0
3 4.0 3.0 4.0
4 5.0 5.0 2.5
Imputación con la mediana:
A B C
0 1.0 1.0 1.0
1 2.0 3.0 2.0
2 3.0 3.0 3.0
3 4.0 3.0 4.0
4 5.0 5.0 2.5
Imputación con la moda:
A B C
0 1.0 1.0 1.0
1 2.0 3.0 2.0
2 1.0 3.0 3.0
3 4.0 3.0 4.0
4 5.0 5.0 1.0
En los DataFrames resultantes, los valores faltantes han sido imputados utilizando la media, la mediana y la moda, respectivamente. Ten en cuenta que las estrategias de imputación pueden afectar la distribución y la interpretación de tus datos, así que elige la estrategia que mejor se ajuste a tu contexto específico.
