Exponer filas faltantes implícitas en explícitas

Clase 10 de 21 • Curso de Manejo de Datos Faltantes: Detección y Exploración

Jeinfferson Bernal G

student•

Exponer N tuplas de valores faltantes. Encontrar los pares faltantes de name y time

# Rellena los datos faltantes que le indiquemos
(
    implicit_to_explicit_df
    # janitor
    .complete(
        "name",
        "time"
    )
)

Limitar la exposicion de N tuplas de valores faltantes

# limitar los datos que quieres mostrar
(
    implicit_to_explicit_df
    .complete( # formato diccionario con as variables y valores a mostrar
        {'name': ['lynn', 'zelda']},
        {'time': ['morning', 'afternoon']},
        sort=True # ordena los valores de manera que primero muestra los pasados y luego el resto
    )
)

Rellenar los valores faltantes

(
    implicit_to_explicit_df
    .complete(
        'name',
        'time',
        fill_value= np.nan  # puedes asignar el valor que desees. Por defecto asigna nan
    )
)

Limitar el rellenado de valores faltantes implicitos

(
    implicit_to_explicit_df
    .complete(
        'name',
        'time',
        fill_value=0,
        explicit=False
    )
)

Naren Fragozo

student•

La librería de Janitor es una librería de Python que proporciona un conjunto de funciones útiles para limpiar y preparar datos en Pandas. Esta biblioteca está diseñada para ayudar en la preparación de datos para el análisis, lo que puede ahorrar tiempo y reducir errores. Algunas de las funciones más utilizadas de Janitor en Pandas incluyen.

clean_names(): esta función se utiliza para limpiar y estandarizar los nombres de las columnas en un DataFrame. Elimina espacios, caracteres especiales y convierte los nombres de las columnas a minúsculas.
remove_empty() y remove_na(): estas funciones se utilizan para eliminar filas y columnas que contengan valores faltantes o nulos.
coalesce(): esta función se utiliza para reemplazar los valores nulos o faltantes en una columna con otro valor especificado.
expand_column(): esta función se utiliza para dividir una columna en múltiples columnas utilizando un separador específico.
get_dupes(): esta función se utiliza para identificar filas duplicadas en un DataFrame.

- **groupby_summarize():** esta función se utiliza para agrupar los datos en un DataFrame y calcular estadísticas resumidas, como la media, la suma o la desviación estándar.

- **pivot_longer() y pivot_wider():** estas funciones se utilizan para transformar un DataFrame de formato ancho a formato largo o viceversa.

En resumen, la librería de Janitor es una herramienta útil para preparar y limpiar datos en Pandas. Sus funciones son útiles para estandarizar nombres de columnas, eliminar filas y columnas con valores faltantes, identificar filas duplicadas y realizar transformaciones de formato en los datos.

Alberto Duque Villegas

student•

¿Por qué se sigue proponiendo trabajar en DeepNote cuando en algunos PC´s corre demasíado lento y el curso se vuelve un dolor de cabeza?

Por mi parte, estoy trabajando en Colab de Google y funciona a las mil maravillas.

Ian Cristian Ariel Yané

student•

A alguien mas le aparece este error?:

AttributeError: 'DataFrame' object has no attribute 'complete'

Jeinfferson Bernal G

student•

Muy interesante la clase y la libreria janitor

Mauricio Escobar

student•

En mi caso para hacerlo más interesante, quise rellenar los nulos en función de los patrones observados en el dataframe:

patrón observado: mientras pasa el día, el poder se reduce 40 puntos (asumiendo que este compotamiendo está estandarizado para todo el dataset)

#df_pivoted = df_botw_explicit.pivot(index='name', columns='time', values='power').reset_index()

def fill_power(row):
    if pd.notna(row['morning']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['morning'] - 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['afternoon']):
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['night']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['night'] + 40
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
    return row
        

df_fill = df_pivoted.apply(fill_power, axis= 1)

df_complete = df_fill.melt(id_vars= ['name'],
                           value_vars= ['morning', 'afternoon', 'night'],
                           var_name= 'time',
                           value_name= 'power')

df_complete = df_complete.sort_values(by= ['name', 'time']).reset_index(drop= True)
```![](https://static.platzi.com/media/user_upload/Captura%20de%20pantalla%202024-07-16%20a%20la%28s%29%205.02.59p.m.-3e3371ce-1c0f-448b-9d7e-5d364a2bed33.jpg)

Mauricio Escobar

student•

Ok, va el resultado otra vez:

Nixon Rolando García Ramírez

student•

Bueno, no se si lo que voy a comentar es de conocimiento general, pero yo estoy usando pycharm y para instalarlo realize el siguiente codigo en conda:

conda install pyjanitor -c conda-forge

Y con pip (ambientes virtuales ) es con:

pip3 install pyjanitor

Siendo mi error que escribir janitor como si ese fuera el nombre del paquete porque cuando uno lo importa lo importa como:

import janitor

Mario Alexander Vargas Celis

student•

**Exponer filas faltantes implícitas en explícitas** se refiere a identificar y hacer explícitas las filas que, aunque no tengan valores NaN visibles, están incompletas o contienen información que representa datos faltantes de forma implícita. Este tipo de situación ocurre cuando ciertos valores tienen un significado especial que indica una ausencia de datos, o cuando una combinación de valores sugiere que faltan datos.

### Proceso para exponer filas faltantes implícitas en explícitas:

1. **Identificación de filas faltantes implícitas:**

Las filas que contienen valores implícitos faltantes suelen tener valores como 0, -1, o cadenas vacías (''). Estas filas pueden necesitar ser convertidas en explícitas.

2. **Uso de mask() o apply() para detectar condiciones implícitas:**

Si sabes qué condiciones representan datos faltantes, puedes usar estas funciones para transformar los datos y hacer los valores explícitos (NaN).

3. **Crear nuevas filas o marcar datos incompletos con NaN:**

Utilizando mask(), apply(), o replace() para convertir esas filas implícitas en explícitas, reemplazando valores o filas enteras con NaN.

### Ejemplo práctico:

Supongamos que tienes un DataFrame donde los valores faltantes están representados de forma implícita, como valores 0 o -1 en la columna de precios o productos vacíos.


import pandas as pd

import numpy as np



\# Ejemplo de DataFrame con valores faltantes implícitos

data = {'Producto': \['A', 'B', 'C', 'D', 'E'],

&#x20;       'Cantidad': \[10, 0, 5, -1, 8],

&#x20;       'Precio': \[100, 0, -1, 150, 0]}



df = pd.DataFrame(data)

print("DataFrame original:")

print(df)



\# Definir condiciones implícitas para filas faltantes

\# Suponemos que 'Cantidad' o 'Precio' con 0 o -1 representan valores faltantes

df\_masked = df.mask((df\['Cantidad'] <= 0) | (df\['Precio'] <= 0))



print("\nDataFrame con filas faltantes explícitas:")

print(df\_masked)

### Salida esperada:


DataFrame original:

&#x20; Producto  Cantidad  Precio

0        A        10     100

1        B         0       0

2        C         5      -1

3        D        -1     150

4        E         8       0



DataFrame con filas faltantes explícitas:

&#x20; Producto  Cantidad  Precio

0        A      10.0   100.0

1        B       NaN     NaN

2        C       5.0     NaN

3        D       NaN   150.0

4        E       8.0     NaN

### Explicación:

1. **Identificación de valores implícitos:** Hemos definido que los valores 0 o -1 en las columnas Cantidad y Precio son faltantes de forma implícita.

2. **Uso de mask():** La función mask() aplica la condición y reemplaza los valores que cumplen con NaN.

3. **Exposición explícita:** Ahora, los valores que estaban implícitamente faltantes (como 0 o -1) se muestran como NaN, haciendo evidente qué datos están faltando.

### Resumen de técnicas para identificar y exponer filas faltantes implícitas:

- **mask()**: Para identificar y reemplazar valores que cumplen con una condición específica.

- **apply()**: Para aplicar una función personalizada fila por fila para determinar si una fila es faltante de forma implícita.

- **replace()**: Para reemplazar valores específicos en el DataFrame.

- **isnull() y notnull()**: Para comprobar si los datos contienen valores explícitamente faltantes.

Este proceso facilita el análisis posterior y asegura que las técnicas para manejar datos faltantes se apliquen correctamente.

Pablo Alejandro Figueroa

student•

genial!

Nestor Colmenarez

student•

🙋‍♂️Si tienes problemas importando alguna de las librerias, te recomiendo leer este aporte hecho en una clase anterior:

https://platzi.com/comentario/4958456/

Julián Cárdenas

student•

Limitar el rellenado de valores faltantes implícitos

(
    implicit_to_explicit_df
    .complete(
        {"name": ["lynn", "zelda"]},
        {"time": ["morning", "afternoon"]},
        sort = True
    )
)

(
    implicit_to_explicit_df
    .complete(
        "name",
        "time",
        fill_value= "nan"
    )
)

(
    implicit_to_explicit_df
    .complete(
        "name",
        "time",
        fill_value= 99,
        explicit=False
    )
)

# limitar los datos que quieres mostrar
(
    implicit_to_explicit_df
    .complete( # formato diccionario con as variables y valores a mostrar
        {'name': ['lynn', 'zelda']},
        {'time': ['morning', 'afternoon']},
        sort=True # ordena los valores de manera que primero muestra los pasados y luego el resto
    )
)

#df_pivoted = df_botw_explicit.pivot(index='name', columns='time', values='power').reset_index()

def fill_power(row):
    if pd.notna(row['morning']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['morning'] - 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['afternoon']):
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['night']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['night'] + 40
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
    return row
        

df_fill = df_pivoted.apply(fill_power, axis= 1)

df_complete = df_fill.melt(id_vars= ['name'],
                           value_vars= ['morning', 'afternoon', 'night'],
                           var_name= 'time',
                           value_name= 'power')

df_complete = df_complete.sort_values(by= ['name', 'time']).reset_index(drop= True)
```![](https://static.platzi.com/media/user_upload/Captura%20de%20pantalla%202024-07-16%20a%20la%28s%29%205.02.59p.m.-3e3371ce-1c0f-448b-9d7e-5d364a2bed33.jpg)

import pandas as pd

import numpy as np

\# Ejemplo de DataFrame con valores faltantes implícitos

data = {'Producto': \['A', 'B', 'C', 'D', 'E'],

&#x20;       'Cantidad': \[10, 0, 5, -1, 8],

&#x20;       'Precio': \[100, 0, -1, 150, 0]}

df = pd.DataFrame(data)

print("DataFrame original:")

print(df)

\# Definir condiciones implícitas para filas faltantes

\# Suponemos que 'Cantidad' o 'Precio' con 0 o -1 representan valores faltantes

df\_masked = df.mask((df\['Cantidad'] <= 0) | (df\['Precio'] <= 0))

print("\nDataFrame con filas faltantes explícitas:")

print(df\_masked)

DataFrame original:

&#x20; Producto  Cantidad  Precio

      A        10     100

      B         0       0

      C         5      -1

      D        -1     150

      E         8       0

DataFrame con filas faltantes explícitas:

&#x20; Producto  Cantidad  Precio

      A      10.0   100.0

      B       NaN     NaN

      C       5.0     NaN

      D       NaN   150.0

      E       8.0     NaN

Exponer filas faltantes implícitas en explícitas

Introducción a los valores faltantes

¿Por qué explorar y lidiar con valores faltantes?

Operaciones con valores faltantes

Conociendo datasets para manejo de datos faltantes

Ejecución de Notebooks en Deepnote con %run

Extendiendo la API de Pandas

Tabulación de valores faltantes

Visualización de valores faltantes

Manipulación inicial de valores faltantes

Codificación de valores faltantes

Conversión de valores faltantes implícitos en explícitos

Exponer filas faltantes implícitas en explícitas

Tipos de valores faltantes

MCAR, MAR, MNAR en Python

Búsqueda de relaciones de valores faltantes

Matriz de sombras: shadow matrix

Visualización de valores faltantes en una variable

Visualización de valores faltantes en dos variables

Scatterplot con valores faltantes

Correlación de nulidad

Tratamiento de valores faltantes

Eliminación de valores faltantes: pairwise y listwise

Imputación básica de datos

Bonus: visualización múltiple de imputaciones

Cierre de curso

Continúa aprendiendo sobre el manejo de valores faltantes