El problema de trabajar con valores faltantes

Clase 1 de 17 • Curso de Manejo de Datos Faltantes: Imputación

Carlos Mazzaroli

student•

Estoy tratando de aplicar lo aprendido en el curso de pro config en los proyectos/cursos que vamos haciendo, el environment.yml quedaria asi para este curso

# conda env create --file environment.yml
# mamba env create --file environment.yml
name: handling_missing_data
channels:
  - anaconda
  - conda-forge
  - defaults
dependencies:
  - black
  - invoke
  - jupyter
  - jupyterlab
  - keras
  - lightgbm
  - matplotlib
  - missingno
  - nbdime
  - numpy
  - pandas
  - pandas-flavor
  - pandas-profiling
  - plotly
  - pyjanitor
  - pylint
  - pyprojroot
  - pyspark
  - scikit-learn
  - seaborn
  - statsmodels
  - tensorflow
  - pip
  - python=3.9
  - python-dotenv
  - session-info
  - pyreadr
  - upsetplot
  - statsmodels==0.13.2
  - fancyimpute
  - scipy
  - pip:
    - nhanes
    - nhanes==0.5.1
    - ozon3

O pueden hacer un pip install -r requirements tmb :p

Alberto Bernaola

student•

me sale ERROR: Cannot uninstall 'PyYAML'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

Alberto Bernaola

student•

que curso recomiendas.

Carlos Enrique Cervantes Aguilar

student•

Al abrir la notebook en deepnote me daba un error diciendo que no se podía inicializar correctamente. Lo pude solucionar cambiando en el archivo requirements.txt la librería sklearn por scikit-learn.

sklearn    <------- Eliminar
scikit-learn   <----- Agregar

Pablo Alejandro Figueroa

student•

muchas gracias..!!

Yonatan Efraín Jara Boza

student•

He estado haciendo los modelos logísticos para 'death' y también me ha fallado con 'chapter', al principio pensaba que podría ser porque tiene valores faltantes, cosa que no es cierto pues con 'creatinine' el modelo sí se crea.

Leyendo por aquí buscando el error en internet (Perfect separation error) y revisando desde la tabla la relación entre 'chapter' y 'death' se observa que:

Cada vez que 'death' es 1 hay una 'chapter' clasificado; y que cuando 'death' es 0, 'chapter' tiene registrado un valor faltante. Esto de alguna manera que desconozco -posiblemente induce a error en la funcion sigmoide o no encuentra un coeficiente- afecta a que el módelo se cree o similar. Si hay algun experto, agredeceré su aporte.

PD: Usando el nombre 'lambda' (la variable) también manda a error del módelo pero si se cambia el nombre desde el comienzo funcionará.

Carlos Enrique Cervantes Aguilar

student•

Con el siguiente código en el reto:

(
    smf.ols(
        formula="death ~ C(chapter)",
        data = survival_df
    )
    .fit()
    .summary()
    .tables[0]
)

obtengo en R-squared un valor -inf. ¿Ese es el efecto que tienen los datos faltantes? Si voy agregando más variables, el valor no cambia, hasta que elimino chapter.

Julián Cárdenas

student•

Gracias!

Roger Christian Cansaya Olazabal

student•

Para complementar el manejo de Datos, excelente.

Manuel Juarez

student•

Hola, alguien sabe si se puede correr estos notebooks en otra plataforma? Deepnote se me hace muy lento en mi computadora y he intentado correrlo en vs code y Jupyter pero sin éxito. Tengo problemas principalmente tratando de incorporar pandas-misssing-extension en mi notebook

Jesús David Barraza Guzmán

student•

Google Colab me ha servido mucho

María Eugenia Pereira Chévez

student•

Yo lo estoy corriendo en Jupyter

José Fernando Aguilar Arredondo

student•

Me sale ese error, ¿Alguien sabe como solucionarlo? ¿Y cómo lo solucionaron? Me podrían ayudar por favor. Gracias

Manuel Juarez

student•

Hay un instructivo en el curso anterior, es una de las primeras clases, por si quieres verlo. Básicamente, en deepnote tienes que descargar pandas-missing-extension.ipynb de la carpeta notebooks a tu computadora, y después volver a subir ese archivo a la carpeta files en deepnote. Luego de hacer eso vas a poder ejecutar esa linea sin problemas

Joaquin Romero Flores

student•

Hey, José.! debris exportar el archivo que esta en el notebook y luego importarlo a files como archivo .ipynb Hecho esto, deberas solo incluir entre comillas de la siguiente manera: ‘%run’ ‘pandas-missing-entension.ipynb' Con esto, resolveras el inconveniente o aquellos que vengan en camino. Saludos!

jhon velasque

student•

tengo porblema con la libreria janitor no lo reconoce el entorno virtual que lo cree pero en conda si lo reconoce saben a que se debe o como solucionar el porblema de abajo

Sofía Salas

student•

Hola, pudiste resolverlo? Yo tambien tengo el mismo problema

Jeinfferson Bernal G

student•

Me sucedia algo similar con la libreria nhanes. Lo solucione instalandolo en el entorno de conda con pip install nhanes. Para tu caso seria pip install pyjanitor. Intentalo!

Daniel Esponda

student•

Esta combinación de variables me permitió obtener una correlación de 0.51.

( smf.ols( formula="death ~ futime + age", data = survival_df ) .fit() .summary() .tables[0] )

sebastián Giraldo Vargas

student•

Cuando creo un modelo logistico con la variable chapter siempre me sale este error, busqué en stack overflow pero la verdad... no entendí el porqué ocurría xD. alguien me explica el error?

Mauricio Escobar

student•

como alternativa a janitor, podemos cargar el dataset de la siguiente forma:

df_airquality =  sm.datasets.get_rdataset("airquality").data

# renombrar cols -> snake_case
df_airquality.columns = (df_airquality.columns.str.lower()
                          .str.replace(' ', '_')
                          .str.replace('.', '_'))

df_airquality['year'] = 1973                                   # nueva columna -> year

df_airquality['date'] = pd.to_datetime(df_airquality[['year', # columna 'date' tipo datetime 
                                                        'month',
                                                        'day']])

df_airquality = df_airquality.sort_values('date')             # ordenar por fecha
df_airquality = df_airquality.set_index('date')
```Nada en contra de janitor *versión 0.27*, sin embargo no he encontrado la forma de resolver los warnings (sin apagarlos) Si alguien ha podido resolverlo porfa avísenme. &#x20;

Mario Alexander Vargas Celis

student•

El manejo de datos faltantes a través de la imputación es un proceso crucial en el análisis de datos para mejorar la calidad y la utilidad del conjunto de datos. La imputación implica estimar y reemplazar los valores faltantes con valores calculados o predichos para que el análisis y los modelos sean más precisos. Aquí tienes un resumen de técnicas comunes de imputación:

### 1. **Imputación con la Media, Mediana o Moda**

- **Media**: Sustituye los valores faltantes por el promedio de los valores presentes en esa columna. Útil para datos numéricos que no tienen muchos valores atípicos.

- **Mediana**: Sustituye los valores faltantes por el valor central cuando los datos están ordenados. Es menos sensible a los valores atípicos que la media.

- **Moda**: Sustituye los valores faltantes por el valor más frecuente en la columna. Utilizado para datos categóricos.

```python

import pandas as pd

# Imputación con la media

df['column_name'].fillna(df['column_name'].mean(), inplace=True)

# Imputación con la mediana

df['column_name'].fillna(df['column_name'].median(), inplace=True)

# Imputación con la moda

df['column_name'].fillna(df['column_name'].mode()[0], inplace=True)

```

### 2. **Imputación Basada en Modelos**

- **Regresión**: Usa una variable dependiente para predecir el valor faltante basado en otras variables independientes.

- **k-Nearest Neighbors (k-NN)**: Imputa valores basándose en la similitud entre los datos. Busca los k vecinos más cercanos y utiliza sus valores para la imputación.

```python

from sklearn.impute import KNNImputer

# Imputación con k-NN

imputer = KNNImputer(n_neighbors=5)

df_imputed = imputer.fit_transform(df)

```

### 3. **Imputación por Interpolación**

- **Lineal**: Interpola los valores faltantes usando una función lineal entre los valores existentes.

- **Polinómica**: Utiliza polinomios para la interpolación.

```python

# Imputación lineal

df['column_name'] = df['column_name'].interpolate(method='linear')

```

### 4. **Imputación por Valores Predeterminados**

- Sustituye los valores faltantes con un valor específico que tenga sentido en el contexto del conjunto de datos (por ejemplo, 0, 'desconocido').

```python

# Imputación con un valor específico

df['column_name'].fillna('Unknown', inplace=True)

```

### 5. **Imputación con Datos de Vecinos**

- Utiliza datos similares de otras observaciones para imputar los valores faltantes.

```python

from sklearn.impute import SimpleImputer

# Imputación con la mediana por defecto

imputer = SimpleImputer(strategy='median')

df_imputed = imputer.fit_transform(df)

```

### 6. **Múltiples Imputaciones**

- **Multiple Imputation by Chained Equations (MICE)**: Imputa los valores faltantes múltiples veces y combina los resultados para tener en cuenta la incertidumbre en la imputación.

```python

from miceforest import MultipleImputedData

mice_data = MultipleImputedData(df)

df_imputed = mice_data.complete_data()

```

Cada técnica tiene sus ventajas y desventajas, y la elección del método adecuado dependerá de la naturaleza de los datos y del contexto del análisis. La imputación adecuada puede mejorar la precisión del análisis y la calidad de los modelos predictivos.

Alfonso Andres Zapata Guzman

student•

Para Ubuntu con WSL2:

# Tener varias versiones de python en WSL2 (https://levelup.gitconnected.com/install-multiple-python-versions-in-wsl2-ba81f21109d6)
## Con esta linea  descargo la version
pyenv install 3.9.15
## Con esta linea coloca la version local en una carpeta
pyenv local 3.9.15

# crear una carpeta con
mkdir
# entrar a dicha carpeta con 
cd
# Crear el entorno virtual alli con 
python3 -m venv env
# Activar el entorno virtual
source env/bin/activate
# instalar archivo requirements.txt presente en el repositorio de github de esta clase
pip3 install -r requirements.txt
# abrir con windows code insiders (deberia instalar automaticamente)
code-insiders .

Alfonso Andres Zapata Guzman

student•

Tuve problemitas con el entorno virtual por lo cual procedi a usar:

pyenv-virtualenv

para gestionar los entornos virtuales con pyenv. Guia que segui: https://www.liquidweb.com/kb/how-to-install-pyenv-virtualenv-on-ubuntu-18-04/

# Tener varias versiones de python en WSL2 (https://levelup.gitconnected.com/install-multiple-python-versions-in-wsl2-ba81f21109d6)
## Con esta linea  descargo la version de python que requiera usar:
pyenv install 3.9.15
## clono el repositorio pyenv-virtualenv
git clone https://github.com/pyenv/pyenv-virtualenv.git $(pyenv root)/plugins/pyenv-virtualenv
##Configuro
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
## Actualizo
exec $SHELL

# crear una carpeta con
mkdir
# entrar a dicha carpeta con 
cd
# Crear el entorno virtual alli con 
pyenv virtualenv 3.9.15 venv
# Activar el entorno virtual
Se activa directamente al entrar con cd a dicha carpeta y se desactiva al salir de ella con cd ..
# instalar archivo requirements.txt presente en el repositorio de github de esta clase
pip3 install -r requirements.txt
# abrir con windows code insiders (deberia instalar automaticamente)
code-insiders .

Mario Chavez

student•

airquality_df = (
    sm.datasets.get_rdataset('airquality')
    .data
    .clean_names(
        case_type='snake'
    )
    .add_column('year', 1973)
    .assign(
        date=lambda df: pd.to_datetime(df[['year', 'month', 'day']])
    )
    .sort_values(by='date')
    .set_index('date')
)

airquality_df

sebastián Giraldo Vargas

student•

Al crear un modelo de regresión logística y entrenarlo con valores faltantes, simplemente me sale este error:

Jeinfferson Bernal G

student•

Muy buena aclaracion sobre la forma en que cometemos el error de no considerar los errores faltantes a pesar de que el algoritmo corra sin arrojar un warning

Jeinfferson Bernal G

student•

Aunque se quisiera comparar ambos modelos mediante su valor de R cuadrado para saber cual de los dos se ajusto mejor, es un error hacerlo debido a que los modelos estan basados sobre diferentes numeros de observaciones.

Jesús Alberto Romero Hernández

student•

Para los que estamos tomando este curso en 2025 usando Google Colab:

El primer problema es con la Biblioteca statsmodels==0.13.2 la cual es es una versión de mediados de 2022. El entorno de Colab se actualiza (actualmente parece que usas Python 3.11 y NumPy 2.0.2). Las versiones más antiguas de los paquetes pueden no tener "ruedas" (wheels, que son paquetes precompilados) disponibles para las versiones más nuevas de Python o sus dependencias, o pueden tener problemas para compilarse en estos entornos más nuevos.

Para resolver esto deben Modificar tu archivo requirements.txt:

Cambia la línea statsmodels==0.13.2 a simplemente statsmodels. Esto instalará la última versión estable disponible.
O especifica una versión más reciente que se sepa que es compatible, por ejemplo: statsmodels>=0.14.0 (o incluso statsmodels==0.14.2 o la que sea la última estable cuando leas esto).

El segundo problema encontrado es con la Biblioeca scikit-learn. En el archivo requirements.txt aparece especifada como sklearn la cual en PyPI es un paquete "falso" o de transición y está obsoleto. No contiene la librería de machine learning que esperas. La librería real se llama scikit-learn por cual igualmente hay que modificar el archivo requirements.txt.

El tercer problema es que Google Colab posee preinstaladas muchas Bibliotecas, incluyendo NumPy. Cuando intentas instalar Bibliotecas desde un requirements.txt, es posible que algunas de estas tengan dependencias específicas de NumPy que no coinciden con la versión preinstalada, o que la instalación de una nueva librería actualice NumPy a una versión que luego causa conflicto con otras librerías ya instaladas o viceversa. El error numpy.dtype size changed es el síntoma clásico de esta incompatibilidad binaria.

Para solucionarlo sigue los siguientes pasos

Reinicia el entorno de ejecución (Runtime Restart): Esto es fundamental. Cada vez que tengas un problema de versiones, especialmente con NumPy, es lo primero que debes hacer.
- Ve a Entorno de ejecución (Runtime) en el menú superior.
- Selecciona Reiniciar entorno de ejecución (Restart runtime).
- Confirma el reinicio. Esto borra la memoria del entorno y te permite empezar de nuevo.
Forzar la reinstalación de NumPy y las librerías dependientes: El problema no es que numpy no se instaló, sino que la versión que se está usando en el momento de la importación es incompatible con alguna librería compilada con otra versión de numpy. El orden es crucial:
Primero debemos desinstalar NumPy (y cualquier librería que pueda haberlo instalado o depender fuertemente de una versión específica) # El -y es para confirmar automáticamente la desinstalación. !pip uninstall numpy -y !pip uninstall scipy -y # SciPy es otra librería que a menudo causa conflictos si no coincide con NumPy. !pip uninstall scikit-learn -y # scikit-learn también tiene una fuerte dependencia de NumPy y SciPy. !pip uninstall pandas -y # Pandas también depende fuertemente de NumPy.

Instalar una versión específica y compatible de NumPy. # A menudo, una versión un poco más antigua que la última puede ser más estable para la compatibilidad. # numpy==1.23.5 es una buena apuesta, o 1.24.4, o incluso la última si no hay problemas. # Si la 1.23.5 falla, intenta con 1.24.4 o solo !pip install numpy (la última estable). !pip install numpy==1.23.5

Reinstalar el resto de las dependencias desde tu requirements.txt. # Es importante reinstalar todo para asegurar que se compilen/enlacen con la versión de NumPy recién instalada. !pip install -r requirements.txt
Reiniciar el entorno de ejecución nuevamente (Altamente recomendado): Después de todas las instalaciones, un segundo reinicio asegura que Python cargue todas las librerías con las versiones correctas desde el disco y no desde alguna caché de memoria.
- Entorno de ejecución (Runtime) -> Reiniciar entorno de ejecución (Restart runtime).
Ejecutar tu código de importación: Después de los reinicios y reinstalaciones, ahora deberías poder importar tus librerías sin el error de NumPy.

Bryan Castano

student•

Hey, Gracias pro vuestro amable comentario, si es cierto, Yo he seguido vuestras recomendaciones y se ha solucionado, ahora puedo trabajar bien en mi DeeepNote. esperemos que todo salga bien por el rresto del curso, tambien me habia creado un conda env en mi localhost para segurilo desde local, DP puede ser muy pesado aveces, incluso toma mas recursoso desde el navegador que trabajar con Jupyter Notebooks.

Alex Xiomar Rubio Lopez

student•

Este curso y el anterior tiene demasiados errores al procesar los notebooks, considerando esta situación se complica en el sentido porque se vuelve dificil ejecutar las practicas y unicamente queda solo de estar de observador como se realizan los procedimientos. Considero que estos archivos deben estar en constante revisión. Además se debe agregar que las respuestas del examen del curso anterior tambien tiene respuestas incorrectas lo que incurre en una perdida del tiempo de estar repitiendo la evaluacion por no cumplir con el puntaje requerido.

Espero que se tome en cuenta las observaciones anteriores.

Atte.

Carlos Fabrishio Venegas Arana

student•

estas librerías me generar un erro

import janitor import missingno import nhanes.load import session_info import statsmodels.api as sm import statsmodels.datasets import statsmodels.formula.api as smf from statsmodels.graphics.mosaicplot import mosaic