Cursos Empresas Blog Live Conf Eventos Precios

0:0014:28

Eliminación de valores faltantes: pairwise y listwise

Curso de Manejo de Datos Faltantes: Detección y Exploración

Clase 18 de 21

Clase 18 / 21

Comentarios (13)13 comentarios

Jeinfferson Bernal G

Hace 4 años

Eliminacion de Valores Faltantes

Cuando se trata de valores faltantes tenemos dos aproximaciones para el tratamiento de los mismos:

Eliminacion de valores faltantes: La eliminación de valores faltantes asume que los valores faltantes están perdidos completamente al azar (MCAR). En cualquier otro caso, realizar una eliminación de valores faltantes podrá ocasionar sesgos en los análisis y modelos subsecuentes. Por tanto, es importante investigar que mecanismos tienen los datos para asi evitar los sesgos a la hora de eliminarlos
Imputacion de valores faltantes: consiste en añadir valores en los datos faltantes para mantener el registro en el dataset

Ruddy Ramos

Hace 4 años

Muchas gracias por sus aportes. Muy valiosos.

Pablo Alejandro Figueroa

Hace 3 años

gracias...!!!

Diego Cesar Lerma Torres

Hace 3 años

Si se fijaron, en dropna cuando puso el parámetro "all" quedaron más elementos que con el parámetro "any"

Esto se debe a que "all" solo elimina si todos los valores de las filas o columnas seleccionadas son NaN. Y "any" elimina todas las filas o columnas seleccionadas si cualquiera de los valores son NaN.

Es decir, any elimina la fila si peso O talla son NaN all elimina la fila SOLO SI peso Y talla son NaN (por eso solo elimina un valor) Les dejo mi apunte sobre este tema

El parámetro how de la función dropna en Pandas es fundamental para determinar cómo se deben tratar las filas o columnas que contienen valores NaN (Not a Number) cuando se limpian los datos. Este parámetro define el criterio bajo el cual una fila o columna será eliminada de un DataFrame debido a la presencia de valores nulos.

Evaluación de Datos: Antes de decidir entre 'any' y 'all', es importante evaluar la naturaleza de los datos faltantes y el impacto de su eliminación en el análisis posterior.
Complemento con fillna: Para minimizar la pérdida de datos, considere utilizar el método fillna para imputar valores faltantes antes de optar por eliminar filas o columnas con dropna.
Revisión Manual: En algunos casos, especialmente con datasets pequeños, una revisión manual de los datos puede ofrecer una mejor perspectiva sobre cómo manejar los valores NaN.

Uso

how : {'any', 'all'}, default 'any'

Descripción de los argumentos:

'any': Si se selecciona este valor, la función dropna eliminará cualquier fila o columna que contenga al menos un valor NaN. Es el valor por defecto porque es una opción conservadora que permite eliminar los datos incompletos sin descartar en exceso filas o columnas que podrían tener la mayoría de sus valores válidos.
'all': Al elegir 'all', dropna solo eliminará las filas o columnas donde todos los valores son NaN. Este enfoque es más permisivo y útil cuando solo se desea eliminar filas o columnas que estén completamente vacías, lo cual puede ser indicativo de datos faltantes en su totalidad o de registros que no fueron ingresados correctamente.

Buenas prácticas
Evaluación de Datos: Antes de decidir entre 'any' y 'all', es importante evaluar la naturaleza de los datos faltantes y el impacto de su eliminación en el análisis posterior.
Complemento con fillna: Para minimizar la pérdida de datos, considere utilizar el método fillna para imputar valores faltantes antes de optar por eliminar filas o columnas con dropna.
Revisión Manual: En algunos casos, especialmente con datasets pequeños, una revisión manual de los datos puede ofrecer una mejor perspectiva sobre cómo manejar los valores NaN.

Neicer Vásquez

Hace 2 años

Dejo aquí las imagenes que hice para entender mejor esta clase.

<u>Pairwise deletion</u>

<u>Listwise deletion</u>

Con base a 1 columna.

Con base a 2 o más columnas.

Carlos Mazzaroli

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.dropna.html

how{‘any’, ‘all’}, default ‘any’

Determine if row or column is removed from DataFrame when we have at least one NA or all NA.

‘any’ : If any NA values are present, drop that row or column.
‘all’ : If all values are NA, drop that row or column.

Sebastian Gaviria

En este link (https://rstudio-pubs-static.s3.amazonaws.com/821023_ab4ec671210149bb906d38d12bb951e4.html) podrán ampliar la información que hemos visto en este curso a nivel teórico.

Gracias...!

Nelson Ricardo Ramírez García

¡Gracias buen hombre! 🙌

no hay por qué..!

Mauro Benito Montoya Arenas

Al parecer, el parametro "how" solo tiene uso si hay mas de 2 variables en cuestion a las que identificaremos sus valores faltantes.

Mario Alexander Vargas Celis

La eliminación de valores faltantes es una técnica común para manejar datos incompletos. Las dos principales estrategias son **eliminación por pares (pairwise deletion)** y **eliminación por lista (listwise deletion)**.

### 1. **Eliminación por Lista (Listwise Deletion)**

En este método, se eliminan las filas que contienen algún valor faltante en cualquiera de las variables involucradas en el análisis. Este enfoque es simple pero puede resultar en la pérdida de mucha información si hay muchos valores faltantes.

#### Ejemplo en Pandas:


import pandas as pd



\# Crear un DataFrame de ejemplo con algunos valores faltantes

data = {'Variable1': \[1, 2, None, 4, 5],

&#x20;       'Variable2': \[5, None, 7, 8, 9],

&#x20;       'Variable3': \[None, 1, 2, None, 4]}

df = pd.DataFrame(data)



\# Eliminación por lista: se eliminan filas que contengan algún valor nulo

df\_listwise = df.dropna()



print("DataFrame después de la eliminación por lista:")

print(df\_listwise)

#### Ventajas:

- Fácil de implementar.

- Asegura que se utilicen solo datos completos.

#### Desventajas:

- Puede llevar a la eliminación de muchas filas si hay muchas variables con valores faltantes.

---

### 2. **Eliminación por Pares (Pairwise Deletion)**

En la eliminación por pares, se realiza un análisis variable por variable, eliminando solo las filas donde la variable involucrada tenga valores faltantes. Esto permite que se utilicen la mayor cantidad posible de datos, aunque algunas comparaciones se hacen con menos datos que otras.

Este enfoque es útil para calcular correlaciones o regresiones entre pares de variables, ya que solo se eliminan los valores faltantes en las variables involucradas en el análisis particular.

#### Ejemplo de correlación usando eliminación por pares:


\# Calcular correlación por pares (omitimos valores faltantes sólo para el par de columnas analizado)

pairwise\_corr = df.corr(method='pearson', min\_periods=1)



print("Correlación por pares:")

print(pairwise\_corr)

- Se utiliza la mayor cantidad posible de datos.

- Es útil cuando se tiene una gran cantidad de valores faltantes y no se quiere perder información.

- Los resultados pueden no ser consistentes entre análisis de diferentes variables, ya que se usan subconjuntos distintos de datos.

### Comparación entre Listwise y Pairwise:

- **Listwise deletion** es más estricto y consistente pero puede resultar en una pérdida significativa de datos.

- **Pairwise deletion** conserva más información, pero las comparaciones entre diferentes análisis pueden basarse en distintos subconjuntos de datos, lo que puede complicar la interpretación.

Mauricio Escobar

JULIO ALFONSO MESA PÉREZ

Por favor me pueden ayudar con el siguiente error cuando ejecuto el siguiente código:python riskfactors_df.mean(skipna=False)

```python TypeError: 'Categorical' with dtype category does not support reduction 'mean' Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...


Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

Raul Andres Parada Sepulveda

Para solucionarlo pueden excluirse las columnas categoricas

riskfactorsDF.select_dtypes(exclude = "category").mean()

Julián Cárdenas

(
    riskfactors_df
    .dropna(
        subset=["weight_lbs", "height_inch"],
        how="any"
    )
    .select_columns(["weight_lbs", "height_inch"])
    .pipe(missingno.matrix)
)

Andres Sanchez

18. Eliminación de valores faltantes: pairwise y listwise

¿Cómo lograrlo?

Eliminación de valores faltantes. Pandas hace pairwise deletion en las operaciones de numeros. Método preferido
Imputación de valores faltantes

Eliminación de valores faltantes: pairwise y listwise

Progreso del curso

Introducción a los valores faltantes

Manipulación inicial de valores faltantes

Búsqueda de relaciones de valores faltantes

Tratamiento de valores faltantes

Cierre de curso