Exponer filas faltantes implícitas en explícitas

Curso de Manejo de Datos Faltantes: Detección y Exploración

Contenido del curso

Introducción a los valores faltantes

Manipulación inicial de valores faltantes

Búsqueda de relaciones de valores faltantes

Tratamiento de valores faltantes

Cierre de curso

21
Continúa aprendiendo sobre el manejo de valores faltantes
03:21 min

Tomar examen

Exponer filas faltantes implícitas en explícitas

Todos los cursos GRATIS

Se acaba en:

03díasd:08hrsh:06minm:04segs

Comentarios12

Jeinfferson Bernal G

Estudiante

Hace 4 años

Exponer N tuplas de valores faltantes. Encontrar los pares faltantes de name y time

# Rellena los datos faltantes que le indiquemos
(
    implicit_to_explicit_df
    # janitor
    .complete(
        "name",
        "time"
    )
)

Limitar la exposicion de N tuplas de valores faltantes

# limitar los datos que quieres mostrar
(
    implicit_to_explicit_df
    .complete( # formato diccionario con as variables y valores a mostrar
        {'name': ['lynn', 'zelda']},
        {'time': ['morning', 'afternoon']},
        sort=True # ordena los valores de manera que primero muestra los pasados y luego el resto
    )
)

Rellenar los valores faltantes

(
    implicit_to_explicit_df
    .complete(
        'name',
        'time',
        fill_value= np.nan  # puedes asignar el valor que desees. Por defecto asigna nan
    )
)

Limitar el rellenado de valores faltantes implicitos

(
    implicit_to_explicit_df
    .complete(
        'name',
        'time',
        fill_value=0,
        explicit=False
    )
)

Naren Fragozo

Estudiante

Hace 3 años

La librería de Janitor es una librería de Python que proporciona un conjunto de funciones útiles para limpiar y preparar datos en Pandas. Esta biblioteca está diseñada para ayudar en la preparación de datos para el análisis, lo que puede ahorrar tiempo y reducir errores. Algunas de las funciones más utilizadas de Janitor en Pandas incluyen.

clean_names(): esta función se utiliza para limpiar y estandarizar los nombres de las columnas en un DataFrame. Elimina espacios, caracteres especiales y convierte los nombres de las columnas a minúsculas.
remove_empty() y remove_na(): estas funciones se utilizan para eliminar filas y columnas que contengan valores faltantes o nulos.
coalesce(): esta función se utiliza para reemplazar los valores nulos o faltantes en una columna con otro valor especificado.
expand_column(): esta función se utiliza para dividir una columna en múltiples columnas utilizando un separador específico.
get_dupes(): esta función se utiliza para identificar filas duplicadas en un DataFrame.

- **groupby_summarize():** esta función se utiliza para agrupar los datos en un DataFrame y calcular estadísticas resumidas, como la media, la suma o la desviación estándar.

- **pivot_longer() y pivot_wider():** estas funciones se utilizan para transformar un DataFrame de formato ancho a formato largo o viceversa.

En resumen, la librería de Janitor es una herramienta útil para preparar y limpiar datos en Pandas. Sus funciones son útiles para estandarizar nombres de columnas, eliminar filas y columnas con valores faltantes, identificar filas duplicadas y realizar transformaciones de formato en los datos.

Alberto Duque Villegas

Estudiante

Hace 3 años

¿Por qué se sigue proponiendo trabajar en DeepNote cuando en algunos PC´s corre demasíado lento y el curso se vuelve un dolor de cabeza?

Por mi parte, estoy trabajando en Colab de Google y funciona a las mil maravillas.

Ian Cristian Ariel Yané

Estudiante

Hace 3 años

A alguien mas le aparece este error?:

AttributeError: 'DataFrame' object has no attribute 'complete'

Jeinfferson Bernal G

Estudiante

Hace 4 años

Muy interesante la clase y la libreria janitor

Mauricio Escobar

Estudiante

Hace 2 años

En mi caso para hacerlo más interesante, quise rellenar los nulos en función de los patrones observados en el dataframe:

patrón observado: mientras pasa el día, el poder se reduce 40 puntos (asumiendo que este compotamiendo está estandarizado para todo el dataset)

#df_pivoted = df_botw_explicit.pivot(index='name', columns='time', values='power').reset_index()

def fill_power(row):
    if pd.notna(row['morning']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['morning'] - 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['afternoon']):
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['night']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['night'] + 40
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
    return row
        

df_fill = df_pivoted.apply(fill_power, axis= 1)

df_complete = df_fill.melt(id_vars= ['name'],
                           value_vars= ['morning', 'afternoon', 'night'],
                           var_name= 'time',
                           value_name= 'power')

df_complete = df_complete.sort_values(by= ['name', 'time']).reset_index(drop= True)
```![](https://static.platzi.com/media/user_upload/Captura%20de%20pantalla%202024-07-16%20a%20la%28s%29%205.02.59p.m.-3e3371ce-1c0f-448b-9d7e-5d364a2bed33.jpg)

Mauricio Escobar

Estudiante

Hace 2 años

Ok, va el resultado otra vez:

Nixon Rolando García Ramírez

Estudiante

Hace 3 años

Bueno, no se si lo que voy a comentar es de conocimiento general, pero yo estoy usando pycharm y para instalarlo realize el siguiente codigo en conda:

conda install pyjanitor -c conda-forge

Y con pip (ambientes virtuales ) es con:

pip3 install pyjanitor

Siendo mi error que escribir janitor como si ese fuera el nombre del paquete porque cuando uno lo importa lo importa como:

import janitor

Luis Miguel Rodríguez

Estudiante

Hace 2 meses

¿Cómo expongo filas faltantes en Pandas?

La forma más efectiva es utilizar el método reindex() o crear un rango completo de valores base (como pd.date_range para fechas) y hacer un merge con tu DataFrame original. Esto generará las filas que faltaban y asignará automáticamente valores nulos a las columnas correspondientes. También puedes usar asfreq() si trabajas directamente con índices de series temporales.

Mario Alexander Vargas Celis

Estudiante

Hace 2 años

**Exponer filas faltantes implícitas en explícitas** se refiere a identificar y hacer explícitas las filas que, aunque no tengan valores NaN visibles, están incompletas o contienen información que representa datos faltantes de forma implícita. Este tipo de situación ocurre cuando ciertos valores tienen un significado especial que indica una ausencia de datos, o cuando una combinación de valores sugiere que faltan datos.

### Proceso para exponer filas faltantes implícitas en explícitas:

1. **Identificación de filas faltantes implícitas:**

Las filas que contienen valores implícitos faltantes suelen tener valores como 0, -1, o cadenas vacías (''). Estas filas pueden necesitar ser convertidas en explícitas.

2. **Uso de mask() o apply() para detectar condiciones implícitas:**

Si sabes qué condiciones representan datos faltantes, puedes usar estas funciones para transformar los datos y hacer los valores explícitos (NaN).

3. **Crear nuevas filas o marcar datos incompletos con NaN:**

Utilizando mask(), apply(), o replace() para convertir esas filas implícitas en explícitas, reemplazando valores o filas enteras con NaN.

### Ejemplo práctico:

Supongamos que tienes un DataFrame donde los valores faltantes están representados de forma implícita, como valores 0 o -1 en la columna de precios o productos vacíos.


import pandas as pd

import numpy as np



\# Ejemplo de DataFrame con valores faltantes implícitos

data = {'Producto': \['A', 'B', 'C', 'D', 'E'],

&#x20;       'Cantidad': \[10, 0, 5, -1, 8],

&#x20;       'Precio': \[100, 0, -1, 150, 0]}



df = pd.DataFrame(data)

print("DataFrame original:")

print(df)



\# Definir condiciones implícitas para filas faltantes

\# Suponemos que 'Cantidad' o 'Precio' con 0 o -1 representan valores faltantes

df\_masked = df.mask((df\['Cantidad'] <= 0) | (df\['Precio'] <= 0))



print("\nDataFrame con filas faltantes explícitas:")

print(df\_masked)

### Salida esperada:


DataFrame original:

&#x20; Producto  Cantidad  Precio

0        A        10     100

1        B         0       0

2        C         5      -1

3        D        -1     150

4        E         8       0



DataFrame con filas faltantes explícitas:

&#x20; Producto  Cantidad  Precio

0        A      10.0   100.0

1        B       NaN     NaN

2        C       5.0     NaN

3        D       NaN   150.0

4        E       8.0     NaN

### Explicación:

1. **Identificación de valores implícitos:** Hemos definido que los valores 0 o -1 en las columnas Cantidad y Precio son faltantes de forma implícita.

2. **Uso de mask():** La función mask() aplica la condición y reemplaza los valores que cumplen con NaN.

3. **Exposición explícita:** Ahora, los valores que estaban implícitamente faltantes (como 0 o -1) se muestran como NaN, haciendo evidente qué datos están faltando.

### Resumen de técnicas para identificar y exponer filas faltantes implícitas:

- **mask()**: Para identificar y reemplazar valores que cumplen con una condición específica.

- **apply()**: Para aplicar una función personalizada fila por fila para determinar si una fila es faltante de forma implícita.

- **replace()**: Para reemplazar valores específicos en el DataFrame.

- **isnull() y notnull()**: Para comprobar si los datos contienen valores explícitamente faltantes.

Este proceso facilita el análisis posterior y asegura que las técnicas para manejar datos faltantes se apliquen correctamente.

Pablo Alejandro Figueroa

Estudiante

Hace 3 años

genial!

Nestor Colmenarez

Estudiante

Hace 3 años

🙋‍♂️Si tienes problemas importando alguna de las librerias, te recomiendo leer este aporte hecho en una clase anterior:

https://platzi.com/comentario/4958456/

Julián Cárdenas

Estudiante

Hace 3 años

Limitar el rellenado de valores faltantes implícitos

(
    implicit_to_explicit_df
    .complete(
        {"name": ["lynn", "zelda"]},
        {"time": ["morning", "afternoon"]},
        sort = True
    )
)

(
    implicit_to_explicit_df
    .complete(
        "name",
        "time",
        fill_value= "nan"
    )
)

(
    implicit_to_explicit_df
    .complete(
        "name",
        "time",
        fill_value= 99,
        explicit=False
    )
)

# limitar los datos que quieres mostrar
(
    implicit_to_explicit_df
    .complete( # formato diccionario con as variables y valores a mostrar
        {'name': ['lynn', 'zelda']},
        {'time': ['morning', 'afternoon']},
        sort=True # ordena los valores de manera que primero muestra los pasados y luego el resto
    )
)

#df_pivoted = df_botw_explicit.pivot(index='name', columns='time', values='power').reset_index()

def fill_power(row):
    if pd.notna(row['morning']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['morning'] - 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['afternoon']):
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
        if pd.isna(row['night']):
            row['night'] = row['afternoon'] - 40
    if pd.notna(row['night']):
        if pd.isna(row['afternoon']):
            row['afternoon'] = row['night'] + 40
        if pd.isna(row['morning']):
            row['morning'] = row['afternoon'] + 40
    return row
        

df_fill = df_pivoted.apply(fill_power, axis= 1)

df_complete = df_fill.melt(id_vars= ['name'],
                           value_vars= ['morning', 'afternoon', 'night'],
                           var_name= 'time',
                           value_name= 'power')

df_complete = df_complete.sort_values(by= ['name', 'time']).reset_index(drop= True)
```![](https://static.platzi.com/media/user_upload/Captura%20de%20pantalla%202024-07-16%20a%20la%28s%29%205.02.59p.m.-3e3371ce-1c0f-448b-9d7e-5d364a2bed33.jpg)

import pandas as pd

import numpy as np

\# Ejemplo de DataFrame con valores faltantes implícitos

data = {'Producto': \['A', 'B', 'C', 'D', 'E'],

&#x20;       'Cantidad': \[10, 0, 5, -1, 8],

&#x20;       'Precio': \[100, 0, -1, 150, 0]}

df = pd.DataFrame(data)

print("DataFrame original:")

print(df)

\# Definir condiciones implícitas para filas faltantes

\# Suponemos que 'Cantidad' o 'Precio' con 0 o -1 representan valores faltantes

df\_masked = df.mask((df\['Cantidad'] <= 0) | (df\['Precio'] <= 0))

print("\nDataFrame con filas faltantes explícitas:")

print(df\_masked)

DataFrame original:

&#x20; Producto  Cantidad  Precio

      A        10     100

      B         0       0

      C         5      -1

      D        -1     150

      E         8       0

DataFrame con filas faltantes explícitas:

&#x20; Producto  Cantidad  Precio

      A      10.0   100.0

      B       NaN     NaN

      C       5.0     NaN

      D       NaN   150.0

      E       8.0     NaN

Exponer filas faltantes implícitas en explícitas

Introducción a los valores faltantes

¿Por qué explorar y lidiar con valores faltantes?

Operaciones con valores faltantes

Conociendo datasets para manejo de datos faltantes

Ejecución de Notebooks en Deepnote con %run

Extendiendo la API de Pandas

Tabulación de valores faltantes

Visualización de valores faltantes

Manipulación inicial de valores faltantes

Codificación de valores faltantes

Conversión de valores faltantes implícitos en explícitos

Exponer filas faltantes implícitas en explícitas

Tipos de valores faltantes

MCAR, MAR, MNAR en Python

Búsqueda de relaciones de valores faltantes

Matriz de sombras: shadow matrix

Visualización de valores faltantes en una variable

Visualización de valores faltantes en dos variables

Scatterplot con valores faltantes

Correlación de nulidad

Tratamiento de valores faltantes

Eliminación de valores faltantes: pairwise y listwise

Imputación básica de datos

Bonus: visualización múltiple de imputaciones

Cierre de curso

Continúa aprendiendo sobre el manejo de valores faltantes

Todos los cursos GRATIS