Tipos de valores faltantes
Contenido del curso
Jeinfferson Bernal G
Ruddy Ramos
Mauro Benito Montoya Arenas
Juan Jose Sepulveda Calderon
Rodolfo Barillas
Alberto Duque Villegas
Pablo Alejandro Figueroa
Rubén Téllez Gerardo
Pablo Alejandro Figueroa
Andres Sanchez
Pablo Alejandro Figueroa
David Duque Uribe
Juan Pablo García Chávez
Mario Alexander Vargas Celis
Diego Cesar Lerma Torres
Matías Collado
Pablo Alejandro Figueroa
Naren Fragozo
Resumen de la clase
Tipos de Valores Faltantes
Tenemos tres tipos de mecanismo de valores faltantes:
Son datos ocasionados por herramientas que dejan de funcionar sin ninguna razon detras. La localizacion de los valores faltantes ocurre completamente al azar, esto no depende de ningun otro dato
Las herramientas necesitan mantenimiento periodico para asegurar su funcionamiento constante. En las fechas donde se le hace mantenimiento sabemos que ocurrira una falta de datos por lo que esos datos faltantes son localizados. La localizacion de los valores faltantes en el conjunto de datos depende de otros valores observados
Las herramientas tienen limites. Al tratar de hacer seguimientos fuera de su rango de medicion, se generan valores faltantes. La localizacion de los valores faltantes en el conjunto de datos dependen de los valores faltantes en si mismos
Puedo tener seguridad sobre que mecanismo de valores faltantes es correcto para mis datos?
No, no podemos tener seuridad sobre cual mecanismo incidio sobre los datos, pero a traves de analisis y conocimiento del tema puedes hacer suposiciones razonables
Gracias por el aporte.
Gracias por tu resumen.
Complementando el ejemplo de la báscula.
Si el peso de tu objeto es demasiado, la báscula te mostrará el valor máximo que puede medir, por lo que no tendrás un valor faltante explicito, pero sí un valor faltante implícito. Para detectarlo necesitarías conocer el rango de medición de tu instrumento.
Si no tienes en cuenta los límites de tu instrumento, puede que termines trabajando con valores incorrectos.
En esta clase aprendi a que pueden existir datos en el multiverso sin ser vistos!!!!
Para que lo comprendamos desde otro punto de vista: Esto fue lo que dijo Chat GPT de OpenAI:
Claro, aquí están las definiciones precisas y breves de las tres categorías de datos faltantes, utilizando el ejemplo de la encuesta de satisfacción en una tienda minorista:
Missing Completely at Random (MCAR): En este caso, los datos faltantes son completamente aleatorios, lo que significa que la probabilidad de que falten datos es la misma para todos los participantes y no está relacionada con ninguna característica observada o no observada. Por lo tanto, la falta de respuestas en la encuesta es puramente aleatoria y no depende de ninguna variable, ya sea observada o no.
Ejemplo MCAR: En la encuesta de satisfacción de la tienda minorista, si algunos clientes no completan la encuesta debido a que la tinta de las plumas se agotó de manera aleatoria, sin importar su satisfacción, los datos faltantes serían MCAR.
Missing at Random (MAR): En el caso de MAR, la probabilidad de datos faltantes es independiente de los valores reales pero puede depender de variables observadas en el conjunto de datos. En la encuesta de satisfacción, si la probabilidad de no completar la encuesta se relaciona con la edad de los clientes, pero no directamente con su satisfacción, los datos faltantes serían MAR.
Missing not at Random (MNAR): En MNAR, la probabilidad de datos faltantes depende de la información que falta en sí misma y no puede explicarse por factores observados. En el ejemplo de la encuesta de satisfacción, si los clientes insatisfechos son más propensos a no completar la encuesta, y esta insatisfacción no se registra en los datos, los datos faltantes serían MNAR.
Estas tres categorías son mutuamente excluyentes y describen diferentes mecanismos detrás de los datos faltantes. MCAR se refiere a la falta de datos aleatoria sin ninguna relación con variables observadas, MAR implica que la falta de datos depende de variables observadas pero no de la información que falta, y MNAR significa que la falta de datos está relacionada con la información que falta en sí misma.
Gracias.!
En el laboratorio diríamos que los datos MNAR dependen del límite de detección del aparato (la menor cantidad de un analito cuya señal puede distinguirse de la del ruido).
codificandobits.com/blog/manejo-datos-faltantes
La pregunta inicial: ¿por qué faltan datos?
Para saber cuál técnica podremos utilizar para el tratamiento de los datos faltantes, primero debemos determinar el mecanismo detrás de esa pérdida de datos. Y estos mecanismos se dividen en tres:
11. Tipos de valores faltantes
No se puede tener seguridad que tipo de mecanismo es mi dato faltante
Pero a través de análisis y conocimiento del tema puedes hacer suposiciones razonables.
Gracias...!!
MNAR: Sería similar al ejemplo de medir la distancia entre 2 ciudades o países, con un micrómetro
Apunte tipo Cornell: Mecanismos de valores faltantes
1.-4 Palabras clave
2.-4 Preguntas
3.-Notas completas del tema
A) Los tres mecanismos principales
En análisis de datos faltantes se suelen distinguir tres tipos:
B) MCAR: faltantes completamente al azar
Idea clave: la ausencia no está relacionada con nada del dataset.
C) MAR: faltantes al azar, pero condicionados a algo observado
Idea clave: el faltante está ligado a otra variable del dataset.
D) MNAR: faltantes no al azar
Idea clave: el dato falta por un mecanismo relacionado con sí mismo.
E) ¿Se puede saber con certeza el mecanismo?
F) ¿Por qué importa?
Porque el mecanismo afecta:
4.-Código necesario
import pandas as pd import numpy as np # ========================================================== # Ejemplo simple para ilustrar patrones de faltantes # ========================================================== df = pd.DataFrame({ "fecha": pd.date_range("2024-01-01", periods=8, freq="D"), "mantenimiento": ["no", "no", "sí", "sí", "no", "no", "sí", "no"], "medicion": [10.2, 10.5, np.nan, np.nan, 10.1, 10.4, np.nan, 10.3] }) print("== DataFrame de ejemplo ==") print(df) # ========================================================== # Ejercicio 1/2: Inspección básica de patrones # ========================================================== print("\n--- Ejercicio 1/2: ¿dónde faltan los datos? ---") print("\nConteo de faltantes en medicion:") print(df["medicion"].isna().value_counts()) print("\nFaltantes por grupo de mantenimiento:") print(df.groupby("mantenimiento")["medicion"].apply(lambda s: s.isna().sum())) # ========================================================== # Ejercicio 2/2: Revisión por bloque temporal # ========================================================== print("\n--- Ejercicio 2/2: faltantes por fecha ---") df["es_faltante"] = df["medicion"].isna() print(df[["fecha", "mantenimiento", "es_faltante"]]) # Si los faltantes se agrupan por mantenimiento, sugiere un patrón tipo MAR. # Si fueran totalmente dispersos sin relación, podría sugerir MCAR. # Si dependieran de la magnitud de la medición, podría sugerir MNAR.
4.- Mapa conceptual
Mecanismos de faltantes | +-------------------+-------------------+ | | | MCAR MAR MNAR | | | Aleatorio total Depende de algo Depende del propio observado valor faltante | v Exploración + conocimiento del dominio | v Suposiciones razonables
5.-Pequeño resumen
Los faltantes pueden generarse por tres mecanismos: MCAR, cuando ocurren completamente al azar; MAR, cuando dependen de valores observados; y MNAR, cuando dependen del propio valor faltante. No suele ser posible saberlo con certeza absoluta, así que el análisis se basa en exploración y conocimiento del contexto para hacer suposiciones razonables.
Si quieres, te hago el siguiente sobre cómo detectar visualmente estos mecanismos o sobre cómo tratar cada tipo de faltante.
Los valores faltantes en el análisis de datos pueden ser de varios tipos, cada uno con sus características y formas de manejo. Aquí te detallo los tipos más comunes y cómo suelen aparecer en los datos:
### Tipos de Valores Faltantes
1. **Valores Nulos (NaN)**
- **Descripción**: En Pandas y muchos otros entornos de análisis de datos, NaN (Not a Number) es el valor estándar para representar datos faltantes.
- **Ejemplo**: NaN en una columna de un DataFrame.
- **Manejo**: Se puede usar fillna(), dropna(), o isna() para manejar estos valores.
```python
import pandas as pd
import numpy as np
df = pd.DataFrame({'A': [1, 2, np.nan, 4]})
print(df)
```
2. **Cadenas Vacías**
- **Descripción**: En algunas bases de datos, las celdas vacías se representan como cadenas vacías ('').
- **Ejemplo**: '' en una columna de texto.
- **Manejo**: Se puede reemplazar con NaN usando replace().
```python
df = pd.DataFrame({'B': ['foo', '', 'bar', '']})
df['B'].replace('', np.nan, inplace=True)
print(df)
```
3. **Valores Especiales**
- **Descripción**: Algunos datasets utilizan valores específicos (como -999, 0, 9999, N/A) para indicar datos faltantes.
- **Ejemplo**: -999 en una columna de datos numéricos.
- **Manejo**: Se puede reemplazar con NaN utilizando replace().
```python
df = pd.DataFrame({'C': [100, -999, 200, -999]})
df['C'].replace(-999, np.nan, inplace=True)
print(df)
```
4. **Valores Negativos o No Válidos**
- **Descripción**: Valores que no son lógicamente válidos en el contexto (por ejemplo, edades negativas).
- **Ejemplo**: -1 en una columna de edades.
- **Manejo**: Se puede reemplazar con NaN si no son válidos en el contexto.
```python
df = pd.DataFrame({'D': [25, -1, 30, -1]})
df['D'].replace(-1, np.nan, inplace=True)
print(df)
```
5. **Valores de Texto Representativos**
- **Descripción**: Valores de texto como 'N/A', 'Unknown', 'Not Available' para indicar la falta de datos.
- **Ejemplo**: 'N/A' en una columna de texto.
- **Manejo**: Se puede reemplazar con NaN.
```python
df = pd.DataFrame({'E': ['value', 'N/A', 'value2', 'N/A']})
df['E'].replace('N/A', np.nan, inplace=True)
print(df)
```
### Cómo Identificar y Manejar Valores Faltantes
- **Identificación de valores faltantes**:
Usa funciones como isna(), isnull(), y notna() para identificar valores faltantes.
```python
df.isna()
df.isnull()
```
- **Manejo de valores faltantes**:
- **Eliminar filas o columnas**: Usa dropna().
- **Rellenar valores faltantes**: Usa fillna() para reemplazar NaN con un valor específico, media, mediana, o interpolar.
- **Reemplazo de valores implícitos**: Usa replace() para convertir valores como -999 en NaN.
```python
# Rellenar con un valor específico
df.fillna(0, inplace=True)
# Eliminar filas con NaN
df.dropna(inplace=True)
```
### Resumen
Los valores faltantes pueden presentarse de diferentes maneras y deben ser tratados de acuerdo con su representación y el contexto del análisis. Convertirlos a un formato explícito (NaN) es crucial para un manejo efectivo y la realización de análisis estadísticos y de datos.
¿Necesitas más detalles o ejemplos sobre alguno de estos tipos de valores faltantes?
Tipos de Valores Faltantes
La presencia de valores faltantes en los conjuntos de datos es un desafío común en la ciencia de datos y la inteligencia artificial. Su manejo adecuado es crucial para el análisis de datos y la modelación. Existen tres categorías principales para clasificar los valores faltantes, que ayudan a determinar la estrategia más adecuada para su tratamiento.
Missing Completely at Random (MCAR)
Missing at Random (MAR)
Missing Not at Random (MNAR)
Cada tipo de dato faltante implica diferentes suposiciones sobre la naturaleza de los datos faltantes y, por lo tanto, requiere estrategias distintas para su tratamiento. La identificación correcta del mecanismo de datos faltantes es fundamental para la aplicación de técnicas adecuadas de imputación o eliminación, asegurando así la validez y confiabilidad de los análisis realizados.
Resumen (modifiqué uno que ya compartieron):
Tipo de valores faltantes
Tenemos tres tipos de mecanismo de valores faltantes:
- Missing Completely at Random (Perdidos completamente al azar)
- Missing at Random (Perdidos al azar)
- Missing not at Random (Perdidos no al azar)
**Missing Completely at Random (MCAR)**
- Son datos ocasionados por herramientas que dejan de funcionar sin ninguna razon detras.
- La localización de los valores faltantes ocurre completamente al azar, esto no depende de ningún otro dato.
- Es independiente de cualquier valor observado o no observado del conjunto de datos.
- No hay patrón discernible en los valores faltantes.
- Ejemplo: personas que al azar se niegan a decir su estado de animo en una encuesta independientemente de cualquier otra variable de la encuesta.
**Missing at Random (MAR)**
- La probabilidad de un valor perdido puede depender de valores observados.
- No depende de los valores no observados.
- Ejemplo: En una encuesta sobre ingresos, los mas jóvenes tienen menos probabilidad de informar sus ingresos. Dicho valor faltante depende de la variable observada "edad".
**Missing not at Random (MNAR)**
- El valor faltante depende del valor real que falta/ el valor que debe ser observado.
- Ejemplo: si recolectamos datos de ingresos, quienes tienen mas ingresos tienen menos probabilidad de revelarlos.
__Resumen__
MCAR: valor perdido que no depende de las variables observadas
MAR: valor perdido que depende de alguna variable observada
MNAR: valor perdido que depende de la propia variable observada
**Puedo tener seguridad sobre que mecanismo de valores faltantes es correcto para mis datos?**
No, no podemos tener seuridad sobre cual mecanismo incidio sobre los datos, pero a traves de analisis y conocimiento del tema puedes hacer suposiciones razonables
genial!
Los valores faltantes 🧩
Los valores faltantes son como piezas que faltan en un rompecabezas. Hay tres formas en que pueden faltar estas piezas:
Perdidos completamente al azar (MCAR)
Es cuando las piezas que faltan no tienen ninguna relación con las demás piezas. Es como si alguien hubiera sacado piezas al azar sin importar cuáles fueran.
Perdidos al azar(MAR)
Es cuando las piezas que faltan están relacionadas con otras piezas del rompecabezas. Por ejemplo, si el rompecabezas está hecho de diferentes colores, las piezas que faltan podrían ser de un solo color.
Perdidos no al azar (MNAR)
Es cuando las piezas que faltan están relacionadas con algún patrón o característica específica del rompecabezas. Por ejemplo, si el rompecabezas es de una imagen de un gato, las piezas que faltan podrían ser todas las piezas del cuerpo del gato.
