Visualizar y eliminar valores faltantes

Clase 3 de 17 • Curso de Manejo de Datos Faltantes: Imputación

Contenido del curso

Problemática de valores faltantes

Imputación basada en el donante

Imputación basada en modelos

Conclusión

Tomar examen

Comentarios

David Gonzalez

student•

Recuerden que para que corra bien

%run download-data-and-load-it.ipynb

se necesita tener el archivo cargado en los files

Diego Cesar Lerma Torres

student•

Estoy usando la plantilla de Data Science que aprendimos en el curso de área de trabajo. Estoy poniendo los notebooks del profesor en la carpeta de reports y el modulo para extender pandas con Missing en en la carpeta module, dentro de utils.

Para llamar a los archivos con %run solo necesité poner la ruta

%run ../reports/download-data-and-load-it.ipynb

Victor Matias Marquez

student•

Muy bueno! Eso es lo que quiero hacer! Ya voy a repsar ese curso para hacerlo. Te hago una consulta, en VS Code, es un poco mas lento? bah, en realidad eso depende de la PC de cada uno. Yo tengo una muy berreta

Diego Cesar Lerma Torres

student•

En respuesta a lo que dijo Víctor: Fíjate que yo tengo una compu chiquita y una PC grande Windows que me daba muchos problemas (incluso con la versión de windows 11 para Workstation).

Lo que hice fue migrar al sistema operativo ZorinOS, que es una distribución de Linux para PC que se asemeja muchísimo a windows y a macOS, pero con mejoras importantes en rendimiento.

Y a mi laptop chiquita, que tiene un procesador i5 de tercera generación y no tiene tarjeta RAM, le instalé Linux Mint XFCE y me va perfecto (nunca pensé que le podría dar una segunda vida a esa compu)

Vale la pena que lo intentes, para que mejores tu rendimiento, de paso repasas y te acostumbras a tener la terminal disponible (que es un disfrute, sinceramente) y te adaptas mejor al mercado laboral.

Yonatan Efraín Jara Boza

student•

¿Soy el único que usando deepnote, a veces la primera celda (de importar librerias) no carga? Me manda a instalar a través de !pip install ... Sin embargo, deteniendo la maquina y volviendolo a prender funciona con normalidad.

Leandro Tenjo

student•

Me pasa también, es muy molesto.

Cristian Eduardo Najera Leal

student•

Hay algún repositorio para correr los archivos de manera local? Deepnote hace todo innecesariamente complejo, para que hay cursos de creación de ambientes locales, git y demás, y mantener a los usuarios anclados a una plataforma anti-intuitiva y con un ux tan desagradable como Deepnote

Pablo Alejandro Figueroa

student•

Tal cual...!!

Mario Alexander Vargas Celis

student•

Para visualizar y eliminar valores faltantes en un conjunto de datos usando **Python** y **Pandas**, puedes seguir estos pasos:

### 1. **Visualización de valores faltantes:**

#### a) Usar isnull() o isna() para detectar valores faltantes:


import pandas as pd



\# Crear un DataFrame de ejemplo

df = pd.DataFrame({

&#x20;   'A': \[1, 2, None, 4],

&#x20;   'B': \[None, 2, 3, 4],

&#x20;   'C': \[1, None, None, 4]

})



\# Visualizar dónde hay valores faltantes (True si falta el valor)

print(df.isnull())

#### b) Contar valores faltantes por columna:


\# Contar los valores faltantes por columna

print(df.isnull().sum())

#### c) Visualización gráfica con **Seaborn**:


import seaborn as sns

import matplotlib.pyplot as plt



\# Visualizar el mapa de calor de los valores faltantes

sns.heatmap(df.isnull(), cbar=False, cmap='viridis')

plt.show()

### 2. **Eliminar valores faltantes:**

#### a) Eliminar filas con valores faltantes:


\# Eliminar filas que tengan algún valor faltante

df\_cleaned = df.dropna()

print(df\_cleaned)

#### b) Eliminar columnas con valores faltantes:


\# Eliminar columnas que tengan algún valor faltante

df\_cleaned\_columns = df.dropna(axis=1)

print(df\_cleaned\_columns)

### 3. **Rellenar valores faltantes (opcional):**

Si en lugar de eliminar, prefieres rellenar los valores faltantes con una estrategia de imputación:

#### a) Rellenar con un valor constante (ej. 0 o la media):


\# Rellenar valores faltantes con 0

df\_filled = df.fillna(0)

print(df\_filled)



\# Rellenar con la media de la columna

df\_filled\_mean = df.fillna(df.mean())

print(df\_filled\_mean)

Paolo Joaquin Pinto Perez

student•

para los que hacen con vscode

si tienen el error de axis(b=False) o relacionado se soluciona ingresando a missingno.py y lo cambian por axis(visible=False) deben ser 3 ocurrencias

Jeinfferson Bernal G

student•

La linea de codigo

%run name.ipynb

permite correr el notebook name dentro de otro. Muy util!

Paolo Joaquin Pinto Perez

student•

Esto de la separacion(modularizacion) ayuda bastante. En el anterior curso tenia ese problema de que se acumulaba bastante codigo y costaba un poco mas tener que correr un bloque para que ejecute otro.

Paola Alapizco

student•

Para quienes están llevando el curso en VSCode utilizando conda como ambiente virtual, si les aparece el error:

ValueError: keyword grid_b is not recognized;

seguramente es por que tienen instalada la versión 0.4.2 de la librería missingno

Para solucionar el error solo deben:

Ir a la terminal
Activar el ambiente virtual que utilizan para el curso (en caso de no tenerlo activo)
Ejecutar el comando ```js conda update missingno
Correr los scripts del notebook

Espero este aporte les sea de ayuda! 💚

Pablo Alejandro Figueroa

student•

Recuento de valores faltantes

Eliminar las filas (aka observaciones) en las cuales todos (all) los elementos del subset (conjunto) sean valor faltante.

Andres Sanchez

student•

3. Visualizar y eliminar valores faltantes

Para correr un notebook aparte dentro de otro notebook

%run download-data-and-load-it.ipynb # Path: download-data-and-load-it.ipynb

import pandas as pd

\# Crear un DataFrame de ejemplo

df = pd.DataFrame({

&#x20;   'A': \[1, 2, None, 4],

&#x20;   'B': \[None, 2, 3, 4],

&#x20;   'C': \[1, None, None, 4]

})

\# Visualizar dónde hay valores faltantes (True si falta el valor)

print(df.isnull())

Visualizar y eliminar valores faltantes

Problemática de valores faltantes

El problema de trabajar con valores faltantes

Proceso de análisis y limpieza de datos