Clase 9 de 21 • Curso de Manejo de Datos Faltantes: Detección y Exploración
Contenido del curso
Jeinfferson Bernal G
Nixon Rolando García Ramírez
Nestor Colmenarez
Alberto Duque Villegas
Jeinfferson Bernal G
Nixon Rolando García Ramírez
Jose Luis Quintero Sánchez
Pablo Alejandro Figueroa
Naren Fragozo
Rubén Téllez Gerardo
Edith Andrea
ANDRES EDUARDO MEDINA FERNANDEZ
Leandro Tenjo
Cesar Prada
Mario Alexander Vargas Celis
Diego Cesar Lerma Torres
Diego Cesar Lerma Torres
Pablo Alejandro Figueroa
Julián Cárdenas
Paolo Joaquin Pinto Perez
Estrategia para la identificacion de valores faltantes implicitos
( implicit_to_explicit_df .pivot_wider( index="name", # variable nombre como filas names_from="time", # variable time como columnas values_from="value" # variable value como valores de la tabla ) )
( implicit_to_explicit_df .value_counts( subset=["name"] # cuenta los valores asociados a los nombres ) .reset_index(name="n") # asigna n como indice del conteo .query("n < 3") # condicion a cumplir por n para que se muestre en la tabla )
Algo curioso es que por mi parte no encontre la funcion .
pivot_wider
Pero la que si enocontre fue la sieguiente, donde lo unico que cambia es que el campo names_from se llama colums y el campo values_from se llama values.
pd.pivot(data = implicit_to_explicit_df, index="name", # variable nombre como filas columns="time", # variable time como columnas values="value" # variable value como valores de la tabla )
la verdad tampoco me aperecio ese metodo....
Gracias por tu solución.
Añado una Solución de ChatGPT:
pivoted_df = implicit_to_explicit_df.pivot(index="name", columns="time", values="value")
Que ejecuta la siguiente salida:
pivoted_df
"Implícito se refiere a todo aquello que se entiende que está incluido pero sin ser expresado de forma directa o explícitamente."
Un valor faltante implícito indica que el valor faltante debería estar incluido en el conjunto de datos del análisis, sin que éste lo diga o lo especifique. Por lo general, son valores que podemos encontrar al pivotar nuestros datos o contabilizar el número de apariciones de combinaciones de las variables de estudio.
Esta clase me dejo viendo el mundo de otra forma jajajaja
Dataframe de valores implícitos:
implicit_to_explicit_df = pd.DataFrame.from_dict( data={ "name": ["lynn", "lynn", "lynn", "zelda"], "time": ["morning", "afternoon", "night", "morning"], "value": [350, 310, np.nan, 320] } ) implicit_to_explicit_df
gracias.:!
📢 Explícito y implícito
Por ejemplo
Si te digo "tengo hambre, ¿quieres ir a comer algo conmigo?", la invitación a comer algo es explícita, ya que se dice de manera directa. Pero si te digo "tengo hambre, qué bien huele ese restaurante", la invitación no está expresada de forma directa, pero se puede entender implícitamente que te estoy invitando a comer en ese restaurante.
Con seguridad en algún momento necesitarán realizar lo contrario a un pivotaje, pues la mayoría de algoritmos requiere la computación explicita de 2 variables. Esto puede hacerse con pd.melt.
pd.melt( itoe_pivoted.reset_index(), id_vars = ["name"], value_vars = ["afternoon", "morning", "night"] )
El resultado es el siguiente:
Este es uno de los mejores cursos para la linea de Analisis de data, en la vida real, se hace necesario tratar los datos faltantes, y en compañias con grandes volumenes de informaciòn, generalmente, lo hacia con excel con analisis exploratorios, pero esto requiere que vayas archivo por archivo, y hay proceso repetitivos, o cuando tienes un mundo de columnas, que mejor que hacer un proceso rapido de identificacion, reemplazo etc, Muchas gracias
Me queda una duda al hacer : ( implicit_to_explicit_df .value_counts( subset= ["name"] ) .reset_index(name="n") .query("n<3") ) Se visualiza los datos que tiene menos de tres ocurrenias, pero si una variable tiene datos faltantes explicitos como lo era lynn, no lo va a mostrar?
Lo que queremos es hacer visibles los datos faltantes implícitos para convertirlos en explicito. Después de eso, todos los valores faltantes tendrán el mismo formato y podremos analizarlos tranquilamente.
Identificar los valores faltantes es crucial para garantizar la calidad y precisión de tus análisis de datos. Estos valores pueden distorsionar tus conclusiones y, por tanto, es esencial tratarlos adecuadamente. Al identificar patrones en los datos faltantes, puedes optar por eliminar registros incompletos o aplicar técnicas de imputación que estimen los valores. Esto mejora la validez de tus modelos y análisis, lo que es fundamental en áreas como la inteligencia artificial y el análisis de datos.
La **conversión de valores faltantes implícitos en explícitos** es una técnica para transformar valores "ocultos" o "implícitos" que pueden representar la falta de datos en un formato claro y explícito dentro de un DataFrame. Los valores faltantes implícitos son aquellos que no se encuentran explícitamente como NaN pero representan una ausencia o falta de datos por otras razones, como valores de cero, valores negativos, cadenas vacías, o un valor especial.
### Ejemplos comunes de valores faltantes implícitos:
- **Cadenas vacías** ('')
- **Valores de 0** en contextos donde el 0 no tiene un significado válido.
- **Valores negativos** que representan datos faltantes.
- **Códigos especiales** como -1 o 9999 para indicar que no hay datos.
### Proceso para convertir valores faltantes implícitos en explícitos (NaN):
#### 1. **Convertir cadenas vacías o específicas en NaN:**
Si tienes cadenas vacías o un valor especial que representa datos faltantes, puedes convertirlos en NaN.
```python
import pandas as pd
import numpy as np
# Crear un DataFrame con valores faltantes implícitos
df = pd.DataFrame({
'Producto': ['A', '', 'C', 'D', ''],
'Precio': [100, 0, -1, 150, 200]
})
# Convertir cadenas vacías ('') en NaN
df['Producto'] = df['Producto'].replace('', np.nan)
print(df)
```
Salida:
```
Producto Precio
0 A 100
1 NaN 0
2 C -1
3 D 150
4 NaN 200
```
#### 2. **Convertir valores numéricos especiales en NaN:**
A veces, ciertos valores numéricos (como 0 o -1) pueden representar valores faltantes implícitos en tu conjunto de datos.
```python
# Convertir valores especiales (0 y -1) en NaN
df['Precio'] = df['Precio'].replace([0, -1], np.nan)
print(df)
```
Salida:
```
Producto Precio
0 A 100.0
1 NaN NaN
2 C NaN
3 D 150.0
4 NaN 200.0
```
#### 3. **Utilizar condiciones para identificar valores faltantes implícitos:**
En algunos casos, necesitarás aplicar condiciones para definir cuándo un valor debe considerarse faltante.
```python
# Suponer que los valores menores a 0 son valores faltantes implícitos
df['Precio'] = df['Precio'].apply(lambda x: np.nan if x < 0 else x)
print(df)
```
#### 4. **Uso de replace() para convertir múltiples valores en NaN:**
La función replace() también permite reemplazar varios valores que consideres implícitamente faltantes con NaN.
```python
# Reemplazar valores de -1 y 0 en la columna 'Precio' con NaN
df['Precio'] = df['Precio'].replace([-1, 0], np.nan)
print(df)
```
#### 5. **Uso de mask() para crear condiciones complejas:**
La función mask() permite definir condiciones lógicas más avanzadas para identificar valores faltantes.
```python
# Reemplazar valores mayores a 100 con NaN (ejemplo condicional)
df['Precio'] = df['Precio'].mask(df['Precio'] > 100)
print(df)
```
### Resumen:
La conversión de valores faltantes implícitos en explícitos permite mejorar la calidad de los datos y facilita el análisis. Hacer explícitos los valores faltantes con NaN facilita el uso de las herramientas de Pandas para manejar valores nulos, como fillna(), dropna(), o cualquier técnica de imputación o filtrado.
Si tienes un caso más específico, ¡puedo ayudarte con una solución detallada!
Por si les sale el warning:
FutureWarning: This function will be deprecated in a 1.x release. Please use `pd.DataFrame.pivot` instead.   return method(self.\_obj, \*args, \*\*kwargs)
Les paso el código con pivot:
implicit\_to\_explicit\_df.pivot(index='name', columns='time', values='value').reset\_index()
Por si les da el warning
FutureWarning: This function will be deprecated in a 1.x release. Please use `pd.DataFrame.pivot` instead. return method(self._obj, *args, **kwargs) ```Les paso el código con pivot ```js implicit_to_explicit_df.pivot(index='name', columns='time', values='value').reset_index()
genial!
excelente
Como pivotar la tabla de datos
( implicit_to_explicit_df .pivot_wider( index="name", # mantenerlos como id's de cada fila names_from="time", # valores a crear como col's values_from="value" # quermos rellenarlo y toma los valores de la colunma... ) )
Cuantificar ocurrencias de n-tuplas
Ventaja: se puede combinar las variables que quieras( no siempre será una matriz)
