Cursos Empresas Blog Live Conf Eventos Precios

0:009:01

Recursos

Resumen

https://nrvis.com/data/mldata/pima-indians-diabetes.csv

names=[
        "pregnancies",
        "glucose",
        "blood_pressure",
        "skin_thickness",
        "insulin",
        "bmi",
        "diabetes_pedigree_function",
        "age",
        "outcome",
    ]

Conociendo datasets para manejo de datos faltantes

Curso de Manejo de Datos Faltantes: Detección y Exploración

Clase 3 de 21

Clase 3 / 21

Mario Alexander Vargas Celis

Hace 2 años

Para practicar y aprender cómo manejar datos faltantes, puedes utilizar algunos conjuntos de datos (datasets) populares que tienen valores faltantes de manera intencional o realista. Estos datasets se utilizan frecuentemente para entrenar habilidades de preprocesamiento en ciencia de datos.

### 1. **Titanic (Kaggle)**

El famoso conjunto de datos del Titanic incluye información sobre los pasajeros del barco, con características como el nombre, edad, sexo, clase, y si sobrevivieron o no. Algunos campos, como la edad y el puerto de embarque, tienen valores faltantes.

- **Descarga**: [Titanic Dataset - Kaggle](https://www.kaggle.com/c/titanic)

- **Valores faltantes**: Age, Cabin, Embarked.

```python

import pandas as pd

titanic = pd.read_csv('titanic.csv')

print(titanic.isnull().sum())

```

### 2. **Housing Prices (Kaggle)**

Este dataset proviene de una competencia de Kaggle sobre predicción de precios de viviendas. Contiene información sobre características de las casas, como el tamaño, el número de habitaciones, el año de construcción, entre otros, y tiene valores faltantes en varias columnas.

- **Descarga**: [House Prices - Kaggle](https://www.kaggle.com/c/house-prices-advanced-regression-techniques)

- **Valores faltantes**: LotFrontage, GarageType, GarageYrBlt, etc.

```python

housing = pd.read_csv('house_prices.csv')

print(housing.isnull().sum())

```

### 3. **Air Quality (UCI Machine Learning Repository)**

Este dataset contiene información sobre la calidad del aire en Milán, Italia, y tiene muchos valores faltantes debido a fallas en los dispositivos de monitoreo. Se utiliza comúnmente para trabajar con interpolación de datos faltantes y análisis de series temporales.

- **Descarga**: [Air Quality Dataset - UCI](https://archive.ics.uci.edu/ml/datasets/Air+quality)

- **Valores faltantes**: Muchos valores faltantes debido a errores en la captura de datos.

```python

air_quality = pd.read_csv('AirQualityUCI.csv', sep=';')

print(air_quality.isnull().sum())

```

### 4. **Diabetes Dataset (Pima Indians)**

Este dataset contiene información sobre pacientes con antecedentes de diabetes y varias características médicas, como el nivel de glucosa en sangre y la presión arterial. Algunos valores son claramente incorrectos o están ausentes, por lo que se utiliza para preprocesar datos médicos.

- **Descarga**: [Diabetes Dataset - Kaggle](https://www.kaggle.com/uciml/pima-indians-diabetes-database)

- **Valores faltantes**: Algunos valores de glucosa, presión arterial y otros son 0, lo cual es un valor incorrecto y representa valores faltantes.

```python

diabetes = pd.read_csv('diabetes.csv')

diabetes.replace(0, np.nan, inplace=True)

print(diabetes.isnull().sum())

```

### 5. **World Happiness Report**

Este conjunto de datos contiene indicadores de felicidad mundial, medidos por varios factores como el PIB per cápita, la esperanza de vida, el apoyo social y la percepción de corrupción. Algunos de estos indicadores pueden estar faltantes en algunos países.

- **Descarga**: [World Happiness Report - Kaggle](https://www.kaggle.com/unsdsn/world-happiness)

- **Valores faltantes**: Algunos datos para países están ausentes en columnas como Social Support, Generosity, etc.

```python

happiness = pd.read_csv('world_happiness.csv')

print(happiness.isnull().sum())

```

### 6. **Medical Cost Personal Dataset**

Este conjunto de datos contiene información sobre los costos médicos personales según varios factores como la edad, el sexo, el IMC, el número de hijos, el hábito de fumar y la región. Algunos de estos campos pueden contener valores faltantes o no válidos.

- **Descarga**: [Medical Cost Personal Dataset - Kaggle](https://www.kaggle.com/mirichoi0218/insurance)

- **Valores faltantes**: Aunque originalmente no tiene valores faltantes, se puede modificar para introducir valores NaN para prácticas de manejo de datos faltantes.

```python

medical = pd.read_csv('insurance.csv')

medical['bmi'] = medical['bmi'].mask(medical['bmi'] < 18)

print(medical.isnull().sum())

```

### 7. **Adult Dataset (Income Prediction)**

Este dataset contiene información sobre los ingresos de adultos, junto con detalles como edad, ocupación, estado civil, etc. Tiene varios valores faltantes en categorías como la ocupación y el área de trabajo.

- **Descarga**: [Adult Dataset - UCI Machine Learning Repository](https://archive.ics.uci.edu/ml/datasets/adult)

- **Valores faltantes**: Workclass, Occupation, Native-country.

```python

adult = pd.read_csv('adult.data', header=None)

print(adult.isnull().sum())

```

---

### Técnicas para Manejar Datos Faltantes

Con estos datasets, puedes aplicar técnicas de manejo de valores faltantes como:

- **Eliminar filas o columnas con dropna()**.

- **Rellenar con un valor como fillna()**.

- **Interpolar valores faltantes usando interpolate()**.

- **Reemplazar valores faltantes con medidas estadísticas (media, mediana, moda)**.

Estas prácticas te ayudarán a gestionar correctamente los valores faltantes en tus proyectos de análisis de datos.

Comentarios (48)48 comentarios

Sergio Andres Rios Gomez

Hace 3 años

No son buenos los cursos que utilizan deepnote, la herramienta no es tan escalable en un ambiene laboral y el manejo es complejo.

Diego Kisai Alba Gallart

Quizá esto te sorprenda, pero tu puedes usar la herramienta que tu desees, no estas obligado a usar deepnote.

Rodrigo Martinez

Exacto, es mucho mas facil usar kaggle, G.C. o entorno local

Mauricio Combariza

Hace 4 años

Si depronto alguien lo esta haciendo en jupyter notebook y le sale que no reconoce al comando wget, la libreria urllb puede hacer lo mismo que wget Primer paso crea la carpeta data 2.

import urllib.request
url = pima_indians_diabetes_url
filename = "./data/pima-indians-diabetes.csv"
urllib.request.urlretrieve(url, filename)

Mario Chavez

Tambien valdría la penda intentar con curl {tu_url} > dataset.csv generalmente las distribuciones traen una de las dos y ambas sirven

Mauro Benito Montoya Arenas

Gracias por tu ayuda amigo.

Jeinfferson Bernal G

Ruddy Ramos

Gracias por el aporte.

Julián Cárdenas

Gracias!

Roy Q

Enrique Narvaez Rodriguez

Carlos Mazzaroli

Copien y peguen

base_url = "https://github.com/njtierney/naniar/raw/master/data/"
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"

Anthony Jean Paul Blaz Lazo

Gracias

Miguel Ángel Acosta Rocha

hola carlos, de casualidad no tienes públicos tus apuntes de este curso? siempre son de mucha ayuda! gracias:)

Leandro Tenjo

Usar variables entre diferentes Notebooks

%store {variable}

… Tengo diferentes Notebooks para mantener el orden. No sabia como importar los dataframes entre cada Notebook sin tener que llamarlos cada que empezaba un cuaderno nuevo. Esa fue la solucion que encontre.

Ejemplo:

%store diabetes_df

y ahora solo llamo a la variable en el otro notebook y listo. Tambien ejecuto este comando a inicio de cada notebook para asegurarme de que las variables se carguen correctamente.

%store -r

Es para refrescar la lista de variables guardadas

María Eugenia Pereira Chévez

Me encantan los cursos de Jesús, siempre nos enseña herramientas nuevas en sus cursos. Presenta el contenido del curso y siempre aporta un valor adicional.

Marco Antonio Candia Ortega

Para descargar y cargar varios conjuntos de datos con wget en un bucle for:

datasets_dfs = {}

for dataset_name in datasets_names:

    dataset_file = f"{ dataset_name }{ extension }"
    dataset_output_file = f"./data/{ dataset_file }"
    dataset_url = f"{ base_url }{ dataset_file }"
    
    wget.download(dataset_url, dataset_output_file )
    ##!wget -q -O { dataset_output_file } { dataset_url }

    datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)

datasets_dfs.keys()

Matías Chahin Toledo

Hace un año

Al ver que las url ya no funcionan, me gustaría proponer una alternativa para aquellos que se han quedado estancados en el paso de la carga de los datasets. Hice unas pequeñas modificaciones al código para poder seguir adelante con el ejercicio.

pd: le cambié el nombre a los datasets (por ejemplo, de riskfactors_df a df_riskfactors) pero por gusto propio.

Espero que les sea de ayuda. :)

pd2: los datasets los descargué directamente desde los recursos de la clase, y luego los convertí de .rda a .csv y luego los convertí a datasets con pandas para después guardarlos y poder trabajar con ellos.

Daniel Cruz

Esta herramienta no es muy amigable y no puedo hacer los ejerciicos como salen en las clases

Emmanuel Guerra Sánchez

Septiembre de 2024:

Versión simplificada para descargar los archivos .rda:

datasets_df = {}
for dataset_name in datasets_names:
  temp_rda_file = pyreadr.download_file(
      f"{base_url}{dataset_name}{extension}?raw=true",
      f"{dataset_name}{extension}"
      )
  temp_df = pyreadr.read_r(f"./{temp_rda_file}")[dataset_name]
  datasets_df[f"{dataset_name}_df"] = temp_df
 
datasets_df.keys()

Diego Cesar Lerma Torres

Tambien pueden abrir directamente la base de datos desde un URL con la misma funcion pd.read_csv

pima_indians_diabetes_url="https://raw.githubusercontent.com/npradaschnor/Pima-Indians-Diabetes-Dataset/master/diabetes.csv"
pd.read_csv(pima_indians_diabetes_url)

Luis Lozano

Con el codigo que les pase anteriormente logre tener el mismo resultado que el profesor:

Camilo Andrés Rodriguez Higuera

Como la URL del video ya no está disponible y el archivo se encuentra en los recursos del curso, puedes usar la ruta a ese archivo. También noté que existen repositorios en GitHub que lo tienen.

pima_indians_url = "https://static.platzi.com/media/tmp/class-files/github/curso-datos-faltantes/curso-datos-faltantes-main/data/pima-indians-diabetes.csv"

# Descargar
!wget -O ./data/pima-indians.csv {pima_indians_url} -q

# Cargar DataFrame
import pandas as pd
pd.read_csv("./data/pima-indians.csv", sep=",")

Más allá de este detalle, lo importante es practicar el proceso de descarga y carga de archivos dentro de un notebook.

Eduardo Barea

Otra forma de cargar el dataset es utilizando la librería de kaggle:

import kagglehub

# Download latest version
path = kagglehub.dataset_download("uciml/pima-indians-diabetes-database")

print("Path to dataset files:", path)
```posteriormente damos:

```js
%ls(path)
```Finalmente cargamos el dataset:
```js
Diabetes = pd.read_csv ("dirección del archivo")
Diabetes.head(20)

Nelson Ricardo Ramírez García

Tengo un error o al parecer la base de datos ya no existe:

jesus garcia

hice el duplicate en deepnote pero ya todas las lineas de comando estaban hechas

Verónica Teilletchea

Hola, tenés que usar los notebooks que empiezan con live.

Luis Miguel Rodríguez

Hace 5 meses

pima_indians_diabetes_url="https://static.platzi.com/media/tmp/class-files/github/curso-datos-faltantes/curso-datos-faltantes-main/data/pima-indians-diabetes.csv"

!wget $pima_indians_diabetes_url

import pandas as pd
pd.read_csv("pima-indians-diabetes.csv",sep=",",names=[
        "pregnancies",
        "glucose",
        "blood_pressure",
        "skin_thickness",
        "insulin",
        "bmi",
        "diabetes_pedigree_function",
        "age",
        "outcome",
    ])

Recursos

Resumen

Conociendo datasets para manejo de datos faltantes

Progreso del curso

Introducción a los valores faltantes

Manipulación inicial de valores faltantes

Búsqueda de relaciones de valores faltantes

Tratamiento de valores faltantes

Cierre de curso