Transformación inversa de los datos

Curso de Manejo de Datos Faltantes: Imputación

Contenido del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:007:07

Transformación inversa de los datos

Curso de Manejo de Datos Faltantes: Imputación

Clase 16 de 17

Clase 16 / 17

(
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
)

--> {'ordinalencoder': OrdinalEncoder(), 'remainder': 'passthrough'}

# en este caso a ordinalencoder

(
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
    .ordinalencoder
)

# las variables estan guardadas en categorical_columns

(
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
    .ordinalencoder
    .inverse_transform(
        X=nhanes_mice_df[categorical_columns]
    )
)

--> array([['Good', 'Female'],
       ['Very good', 'Male'],
       ['Good', 'Male'],
       ...,
       ['Good', 'Female'],
       ['Very good', 'Female'],
       ['Good', 'Male']], dtype=object)

nhanes_imputed_df[categorical_columns] = (
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
    .ordinalencoder
    .inverse_transform(
        X=nhanes_mice_df[categorical_columns]
    )
)

nhanes_imputed_df

# cantidad para cada categoria del estado de salud. Valores sin imputar

nhanes_df.general_health_condition.value_counts()

--> Good         2383
Very good    1503
Fair or      1130
Excellent     612
Poor?         169
Name: general_health_condition, dtype: int64

# cantidad para cada categoria del estado de salud. Valores imputados

nhanes_imputed_df.general_health_condition.value_counts()

--> Good         3743
Very good    1503
Fair or      1130
Excellent     612
Poor?         169
Name: general_health_condition, dtype: int64

sns.jointplot(
    data=nhanes_df,
    x = 'height',
    y = 'weight',
    hue = 'gender',
    kind='scatter'
)
sns.jointplot(
    data=nhanes_final_df,
    x = 'height',
    y = 'weight',
    hue = 'gender',
    kind='scatter'
)
(
    nhanes_final_df
    .missing.scatter_imputation_plot(
        x='height',
        y='weight',
        show_marginal=True
    )
)

(
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
)

--> {'ordinalencoder': OrdinalEncoder(), 'remainder': 'passthrough'}

# en este caso a ordinalencoder

(
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
    .ordinalencoder
)

# las variables estan guardadas en categorical_columns

(
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
    .ordinalencoder
    .inverse_transform(
        X=nhanes_mice_df[categorical_columns]
    )
)

--> array([['Good', 'Female'],
       ['Very good', 'Male'],
       ['Good', 'Male'],
       ...,
       ['Good', 'Female'],
       ['Very good', 'Female'],
       ['Good', 'Male']], dtype=object)

nhanes_imputed_df[categorical_columns] = (
    categorical_transformer # funcion que transforma los valores
    .named_transformers_    # nombre de las transformaciones realizadas a los datos
    .ordinalencoder
    .inverse_transform(
        X=nhanes_mice_df[categorical_columns]
    )
)

nhanes_imputed_df

# cantidad para cada categoria del estado de salud. Valores sin imputar

nhanes_df.general_health_condition.value_counts()

--> Good         2383
Very good    1503
Fair or      1130
Excellent     612
Poor?         169
Name: general_health_condition, dtype: int64

# cantidad para cada categoria del estado de salud. Valores imputados

nhanes_imputed_df.general_health_condition.value_counts()

--> Good         3743
Very good    1503
Fair or      1130
Excellent     612
Poor?         169
Name: general_health_condition, dtype: int64

Comentarios (5)5 comentarios

Jeinfferson Bernal G

Hace 4 años

Transformacion Inversa de los datos

Una vez realizado el procesamiento de los datos faltantes sobre variables categoricas que estan representadas por numeros, el siguiente paso es transformar dichas variables en texto nuevamente para dar una mejor interpretacion a los resultados.

Utilizamos los datos nhane_mice_df que son los que queremos transformar

 # creamos una copia del dataframe

nhanes_imputed_df = nhanes_mice_df.copy(deep=True)

Mostrar las transformaciones hechas a los datos

Accedemos al codificador de interes

Finalmente accedemos a la funcion inversa para aplicar sobre los datos ordinalencoder

Guardamos los datos transformados en el df nhanes_imputed_df

Comparar las variables antes y despues de la imputacion

Verificar que no hayan quedado valores faltantes

nhanes_imputed_df.missing.number_missing()

--> 0

Leidy Johana Alarcon Moya

Hace 3 años

Muchisimas gracias por tus resumenes, me has ahorrado mucho tiempo!

estamos para ayudarnos 😉👍

Paolo Joaquin Pinto Perez

Esta clase fue de pasar todo el trabajo a limpio, fue gratificante la parte en la que se convierte a str

Julián Cárdenas

👏

Mario Chavez

Use este codigo para comparar la distribucion original de la altura y el peso con el de los datos imputados y observe que alteraron la distribucion normal que tenian originalmente y mueve un poco la media. Yo usaria la imputacion knn para este dataset.

Paola Alapizco

Hace 2 años

📝 Para concluir una exploración de valores faltantes, debemos seleccionar el método de imputación que mejor se ajuste a los datos con los que estemos trabajando, si nuestro dataset incluye valores faltantes categóricos que codificamos para su imputación, al final debemos transformarlos a sus valores originales (texto). Ahora si con un conjunto de datos completo podemos proceder ya sea a realizar un EDA, análisis de datos, a entrenar un modelo de ML, etc.

Pablo Alejandro Figueroa

genial!

Problemática de valores faltantes

El problema de trabajar con valores faltantes

Proceso de análisis y limpieza de datos

Visualizar y eliminar valores faltantes

Implicaciones de los distintos tipos de valores faltantes

Amplía tu conjunto de herramientas para explorar valores faltantes

Tratamiento de variables categóricas para imputación: codificación ordinal

Tratamiento de variables categóricas para imputación: one-hot encoding

Métodos de imputación de valores faltantes

Imputación basada en el donante

Imputación por media, mediana y moda

Imputación por llenado hacia atrás y hacia adelante

Imputación por interpolación

Imputación por KNN

Imputación por KNN en Python

Imputación basada en modelos

Introducción a la imputación basada en modelos

Imputaciones Múltiples por Ecuaciones Encadenadas (MICE)

Conclusión

Transformación inversa de los datos

¿Cómo continuar practicando?

Transformación inversa de los datos

Progreso del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión