Codificacion de valores Faltantes
Asumir que los datos faltantes siempre vendran en un unico formato es un error.
Algunas formas en que se representa los datos faltantes son: NA, N/A, na, Missing, -1, -77, no available
common_na_strings = ( "missing", "NA", "N A", "N/A", "#N/A", "NA ", " NA", "N /A", "N / A", " N / A", "N / A ", "na", "n a", "n/a", "na ", " na", "n /a", "n / a", " a / a", "n / a ", "NULL", "null", "", "?", "*", ".", )
common_na_numbers = (-9, -99, -999, -9999, 9999, 66, 77, 88, -1)
missing_data_example_df = pd.DataFrame.from_dict( dict( x = [1, 3, "NA", -99, -98, -99], y = ["A", "N/A", "NA", "E", "F", "G"], z = [-100, -99, -98, -101, -1, -1] ) ) missing_data_example_df
missing_data_example_df.missing.number_missing() --> 0 # arroja cero debido a que no reconoce los diferentes tipos de datos faltantes
missing_data_example_df.dtypes --> x object y object z int64 dtype: object # La columna x solo tiene 1 string y pandas reconoce toda la columna como object # por tanto se intuye que en dicha columna existen valores faltantes
missing_data_example_df.x.unique() --> array([1, 3, 'NA', -99, -98], dtype=object) # solamente puedes revisar columna por columna y sirve para dataframe pequeños
( missing_data_example_df .select_dtypes(object) .apply(pd.unique) ) --> x [1, 3, NA, -99, -98] y [A, N/A, NA, E, F, G] dtype: object # selecciona las variables de tipo object y regresa sus valores unicos
Sustituyendo valores comunmente asociados a valores faltantes
pd.read_csv( './data/missing_data_enconding_example.csv', na_filter=True, na_values=[-99, -1] ) # sustituye los valores -99 y -1 por nan desde el archivo raiz # de esta manera pandas detecta que son valores faltantes
( missing_data_example_df .replace( to_replace=[-99, 'NA'], value= np.nan ) ) # sustituye todos los valores -99 y NA por nan desde el dataframe
( missing_data_example_df .replace( to_replace={ 'x':{ -99:np.nan } } ) ) # Sustituye los valores -99 por nan solo en la variable x del dataframe
David Duque Uribe
Creo que a la hora de reemplazar los datos es mejor revisar por columna y hacer un reemplazo con más control, pues a pesar de tardar más tiempo se pueden adaptar a las condiciones de cada columna de datos.
Javier Guevara
A mi me parece ùtil aplicar estos reemplazo masivos cuando tienes un dataset muy muy grande. De lo contrariio, es posible hacerlo a mano.
Alfonso Andres Zapata Guzman
Tambien se puede apoyar en expresiones regulares para escarbar en busca de valores faltantes que sean colocados de manera rara. Pero esto conllevaria a una creacion generalmente unica por columna, ya que podria en una variable aplicar y en otra no.
Pablo Alejandro Figueroa
Exacto! Gracias!
Andres felipe Rojas parra
es mi impresión o el curso en verdad empieza desde acá? las 7 primeras clases me parecieron el tipico tutorial de python de
tutorial de como hacer x cosa import x cosa
Leandro Tenjo
Le pones x2 y se hace más fácil 😅
Alejandro Marmolejo Gutiérrez
¿Alguien más que se haya sorprendido de no ver en la lista a estos dos personajes? :
"NaN", "nan"
Neicer Vásquez
También, lo raro es no ver
Estos son datos que se pueden encontrar si también trabajas en un entorno con personas en Español.
KEYRUN MESTRE ZALABATA
Esta es una de esas clases en la que no paras de pensar: " raioz, era así de fácil entonces? " xd
David Duque Uribe
Muy interesante este otro tipo de manera en que las personas escriben cuando no tienen el dato, otro caso es explorar los datos con criterio conociendo que se busca, por ejemplo un dato negativo hablando de tiempo no tiene sentido, entonces también serian datos de tener cuidado.
common_na_strings = ( 'missing', 'NA', 'N A', '#N/A', 'NA ', ' NA', 'N /A', 'N / A', ' N / A ', 'na' )
Julián Cárdenas
Valores faltantes = Fuc. k
Mario Alexander Vargas Celis
La codificación de valores faltantes en un conjunto de datos es una parte importante del preprocesamiento de datos antes de realizar análisis o entrenar modelos. Hay varias estrategias para manejar los valores faltantes dependiendo del contexto y de los datos en cuestión. A continuación te explico algunas técnicas comunes usando pandas para la codificación y manejo de valores faltantes.
### 1. **Eliminar los valores faltantes**
- Si los valores faltantes son pocos, puedes eliminarlos de forma segura sin perder información relevante.
```python
import pandas as pd
# Cargar un DataFrame de ejemplo
df = pd.DataFrame({
'Producto': ['A', 'B', 'C', 'D', 'E'],
'Precio': [100, 200, None, 150, None]
})
# Eliminar filas con valores faltantes
df_clean = df.dropna()
print(df_clean)
```
### 2. **Rellenar valores faltantes con un valor específico (imputación simple)**
- Puedes rellenar los valores faltantes con un valor como la media, mediana, moda o un número fijo.
```python
# Rellenar valores faltantes con la media de la columna 'Precio'
df['Precio'] = df['Precio'].fillna(df['Precio'].mean())
print(df)
```
- **Rellenar con un valor fijo**:
```python
# Rellenar valores faltantes con 0
df['Precio'] = df['Precio'].fillna(0)
```
### 3. **Interpolación de valores faltantes**
- La interpolación estima valores faltantes utilizando el patrón de los datos adyacentes.
```python
# Rellenar valores faltantes usando interpolación
df['Precio'] = df['Precio'].interpolate()
print(df)
```
### 4. **Codificación de valores faltantes con un marcador**
- A veces, en lugar de imputar, es útil codificar los valores faltantes con un marcador (ej. 'Desconocido' o 'Sin datos').
```python
# Rellenar valores faltantes con una cadena 'Desconocido'
df['Producto'] = df['Producto'].fillna('Desconocido')
print(df)
```
### 5. **Codificación con etiquetas binarias**
- Puedes crear una columna binaria adicional que marque si un valor estaba o no ausente en una columna original.
```python
# Crear una columna binaria que indica si el valor estaba ausente
df['Faltante_Precio'] = df['Precio'].isnull().astype(int)
print(df)
```
### 6. **Imputación con técnicas avanzadas (KNN, Regresión, etc.)**
- Herramientas más avanzadas como **K-Nearest Neighbors (KNN)** o regresión pueden ser utilizadas para imputar valores faltantes basados en otras variables. Para esto, puedes usar bibliotecas como sklearn.
```python
from sklearn.impute import KNNImputer
# Ejemplo de imputación usando KNN
imputer = KNNImputer(n_neighbors=2)
df[['Precio']] = imputer.fit_transform(df[['Precio']])
print(df)
```
### Conclusión:
El enfoque más adecuado para manejar los valores faltantes depende del contexto del problema, la cantidad de datos faltantes, y la naturaleza de los datos. Puedes combinar varias estrategias según tus necesidades para asegurar que los valores faltantes no afecten negativamente el análisis o modelo.
Si quieres ejemplos más específicos de cómo aplicar estas técnicas a tus datos, ¡házmelo saber!
Antonio Demarco Bonino
En estas clases siento que aprendo más de Python y su entorno que del tema en sí. Me encanta.
Pablo Alejandro Figueroa
impresionante!
Luis Miguel Rodríguez
¿Cómo afecta esto a los modelos predictivos?
Impacta directamente en la capacidad del modelo para encontrar patrones ocultos. Si simplemente eliminas las filas con datos faltantes, pierdes volumen de entrenamiento. Si los codificas correctamente, el modelo puede aprender que la condición de faltante es una característica predictiva en sí misma. Por ejemplo, en la detección de fraudes, la omisión intencional de un código postal suele ser una señal de alerta altísima que el algoritmo solo notará si está codificada.
David Sánchez lombana
¿Por que aveces se abren corchetes para escribir el código?
Naren Fragozo
Como parte de la sintaxis para organizar el código de manera legible.
IVAN RUBEN DIAZ RAMIREZ
import pandas as pd missing_data_example_df = pd.DataFrame.from_dict( dict( X = [1, 3, "NA", -99, -98, -99], y = ["A", "N/A", "NA", "E", "F", "G"], z = [-100, -99, -98, -101, -1, -1] ) ) missing_data_example_df
