Conociendo datasets para manejo de datos faltantes

Clase 3 de 21 • Curso de Manejo de Datos Faltantes: Detección y Exploración

Resumen

https://nrvis.com/data/mldata/pima-indians-diabetes.csv

names=[
        "pregnancies",
        "glucose",
        "blood_pressure",
        "skin_thickness",
        "insulin",
        "bmi",
        "diabetes_pedigree_function",
        "age",
        "outcome",
    ]

Sergio Andres Rios Gomez

student•

No son buenos los cursos que utilizan deepnote, la herramienta no es tan escalable en un ambiene laboral y el manejo es complejo.

Diego Kisai Alba Gallart

student•

Quizá esto te sorprenda, pero tu puedes usar la herramienta que tu desees, no estas obligado a usar deepnote.

Rodrigo Martinez

student•

Exacto, es mucho mas facil usar kaggle, G.C. o entorno local

Mauricio Combariza

student•

Si depronto alguien lo esta haciendo en jupyter notebook y le sale que no reconoce al comando wget, la libreria urllb puede hacer lo mismo que wget Primer paso crea la carpeta data 2.

import urllib.request
url = pima_indians_diabetes_url
filename = "./data/pima-indians-diabetes.csv"
urllib.request.urlretrieve(url, filename)

Mario Chavez

student•

Tambien valdría la penda intentar con curl {tu_url} > dataset.csv generalmente las distribuciones traen una de las dos y ambas sirven

Mauro Benito Montoya Arenas

student•

Gracias por tu ayuda amigo.

Jeinfferson Bernal G

student•

Conociendo nuestro datasets para manejo de datos faltantes

Descarga de archivos mediante una URL en el Notebooks

Guardar la url en una variable

nombre_variable = "URL"

Utiliza la linea de comandos desde el notebooks para descargar los datos

!wget -O ./data/pima-indians-diabetes.csv { nombre_variable } -q
#!linea de comandos
# wget-comando para descargar datos
# -O 
# ruta para almacenar los datos + nombre
# {URL} 
# -q para que no muestre la descarga

Descarga de varios archivos desde una URL

Crea unidades de informacion de los conjuntos de Datos

#Guarda la URL en una variable
base_url = "https://github.com/njtierney/naniar/raw/master/data/"
#Guarda los nombres de los archivos a descargar en una lista 
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
#Guarda la extension de los archivos en una variable
extension = ".rda"

Descarga y carga los conjuntos de datos en un dataset

datasets_dfs = {} # diccionario para almacenar lor archivos

for dataset_name in datasets_names:

    dataset_file = f"{ dataset_name }{ extension }"
    dataset_output_file = f"./data/{ dataset_file }"
    dataset_url = f"{ base_url }{ dataset_file }"
    
    !wget -q -O { dataset_output_file } { dataset_url } #linea de comando para descargar

    datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)

datasets_dfs.keys()

Incluir el conjunto de datos en nuestro ambiente local

locals().update(**datasets_dfs)
del datasets_dfs

Verificar que hayan cargado

oceanbuoys_df.shape, pedestrian_df.shape, riskfactors_df.shape, diabetes_df.shape

Ruddy Ramos

student•

Gracias por el aporte.

Julián Cárdenas

student•

Gracias!

Roy Quillca

student•

Comparto como hice para descargar los datasets tanto .csv y .rda desde la url usando el módulo requests:

Instalar el modulo requests:

pip install requests

Código:

import requests
pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv"
response = requests.get(pima_indians_diabetes_url)
if response.status_code == 200:
    with open(f"./data/{pima_indians_diabetes_url.split('/')[-1]}", "wb") as file:
        file.write(response.content)

Para descargar los demás datasets:

Creando unidades de informacioón de los conjuntos de datos:

base_url = "https://github.com/njtierney/naniar/raw/master/data/"
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"

Función para descargar los datasets .rda:

Funcion que descarga un dataset dado la url (dataset_url) y ruta relativa del archivo donde se va guardar

def download_data(dataset_url, dataset_output_file ):
response = requests.get(dataset_url)
if response.status_code == 200:
    with open(f"{dataset_output_file}", "wb") as file:
        file.write(response.content)
print(f"{dataset_url.split('/')[-1]} descargado en {dataset_output_file}")

Funcion que descarga todos los datasets

datasets_dfs = {}
for dataset_name in datasets_names:
 dataset_file = f"{ dataset_name }{ extension }"
	dataset_output_file = f"./data/{ dataset_file }"
	dataset_url = f"{ base_url }{ dataset_file }"
	# !wget -q -O { dataset_output_file } { dataset_url }
	download_data(dataset_url, dataset_output_file )
	datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)
datasets_dfs.keys()

Nota: Para descargar el archivo pima-indians-diabetes.csv con la funcion:

pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv"
download_data(pima_indians_diabetes_url, f"./data/{pima_indians_diabetes_url.split('/')[-1]}")

Enrique Narvaez Rodriguez

student•

12 de Marzo 2024 (Cargar datasets en Collab)

Despues de casi rendirme y cargar los archivos de una manera muy poco digna de este mundo del código, al final de leer los comentarios y probar varias cosas dí con la solución.

Cabe resaltar que no soy un experto y utilizo Collab por lo practico que se me hace la herramienta a diferencia de DeepNote.

import urllib.request
import requests
base_url = "https://github.com/njtierney/naniar/blob/master/data/"
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"
```Utilzando urllib.*request*

```python
datasets_dfs = {}
for data in datasets_names:
  url = f'{base_url}{data}{extension}?raw=true'
  filename = f'./{data}{extension}'
  urllib.request.urlretrieve(url, filename)
  datasets_dfs[f"{data}_df"] = pyreadr.read_r(f'/content/{filename}').get(data)
```Utilizando requests

```python
def download_data(dataset_url, dataset_output_file ):
  response = requests.get(dataset_url)
  if response.status_code == 200:
      with open(f"{dataset_output_file}", "wb") as file:
          file.write(response.content)
  print(f"{dataset_url.split('/')[-1]} descargado en {dataset_output_file}")

datasets_dfs = {}
for dataset_name in datasets_names:
  dataset_file = f"{ dataset_name }{ extension }"
  dataset_output_file = f"{ dataset_file }"
  dataset_url = f"{ base_url }{ dataset_file }?raw=true"
  #!wget -q -O { dataset_output_file } { dataset_url }
  download_data(dataset_url, dataset_output_file )
  datasets_dfs[f"{dataset_name}_df"] = pyreadr.read_r(f'/content/{dataset_output_file}').get(dataset_name)
datasets_dfs.keys()
```Son dos soluciones, al final pueden consultar el diccionario de dataframes y veran que ya tienen los datasets, les adjunto las imagenes.

![](https://static.platzi.com/media/user_upload/image-32a4ad6b-5dde-4bbf-9cd4-d336d637ac3e.jpg)

![](https://static.platzi.com/media/user_upload/image-146751ea-accf-4281-b072-1b9e74b5e4c7.jpg)

Saludos.

Carlos Mazzaroli

student•

Copien y peguen

base_url = "https://github.com/njtierney/naniar/raw/master/data/"
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"

Anthony Jean Paul Blaz Lazo

student•

Gracias

Miguel Ángel Acosta Rocha

student•

hola carlos, de casualidad no tienes públicos tus apuntes de este curso? siempre son de mucha ayuda! gracias:)

Leandro Tenjo

student•

Usar variables entre diferentes Notebooks

%store {variable}

… Tengo diferentes Notebooks para mantener el orden. No sabia como importar los dataframes entre cada Notebook sin tener que llamarlos cada que empezaba un cuaderno nuevo. Esa fue la solucion que encontre.

Ejemplo:

%store diabetes_df

y ahora solo llamo a la variable en el otro notebook y listo. Tambien ejecuto este comando a inicio de cada notebook para asegurarme de que las variables se carguen correctamente.

%store -r

Es para refrescar la lista de variables guardadas

María Eugenia Pereira Chévez

student•

Me encantan los cursos de Jesús, siempre nos enseña herramientas nuevas en sus cursos. Presenta el contenido del curso y siempre aporta un valor adicional.

Marco Antonio Candia Ortega

student•

Para descargar y cargar varios conjuntos de datos con wget en un bucle for:

datasets_dfs = {}

for dataset_name in datasets_names:

    dataset_file = f"{ dataset_name }{ extension }"
    dataset_output_file = f"./data/{ dataset_file }"
    dataset_url = f"{ base_url }{ dataset_file }"
    
    wget.download(dataset_url, dataset_output_file )
    ##!wget -q -O { dataset_output_file } { dataset_url }

    datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)

datasets_dfs.keys()

Daniel Cruz

student•

Esta herramienta no es muy amigable y no puedo hacer los ejerciicos como salen en las clases

Emmanuel Guerra Sánchez

student•

Septiembre de 2024:

Versión simplificada para descargar los archivos .rda:

datasets_df = {}
for dataset_name in datasets_names:
  temp_rda_file = pyreadr.download_file(
      f"{base_url}{dataset_name}{extension}?raw=true",
      f"{dataset_name}{extension}"
      )
  temp_df = pyreadr.read_r(f"./{temp_rda_file}")[dataset_name]
  datasets_df[f"{dataset_name}_df"] = temp_df
 
datasets_df.keys()

Diego Cesar Lerma Torres

student•

Tambien pueden abrir directamente la base de datos desde un URL con la misma funcion pd.read_csv

pima_indians_diabetes_url="https://raw.githubusercontent.com/npradaschnor/Pima-Indians-Diabetes-Dataset/master/diabetes.csv"
pd.read_csv(pima_indians_diabetes_url)

Luis Lozano

student•

Con el codigo que les pase anteriormente logre tener el mismo resultado que el profesor:

Matías Chahin Toledo

student•

Al ver que las url ya no funcionan, me gustaría proponer una alternativa para aquellos que se han quedado estancados en el paso de la carga de los datasets. Hice unas pequeñas modificaciones al código para poder seguir adelante con el ejercicio.

pd: le cambié el nombre a los datasets (por ejemplo, de riskfactors_df a df_riskfactors) pero por gusto propio.

Espero que les sea de ayuda. :)

Matías Chahin Toledo

student•

pd2: los datasets los descargué directamente desde los recursos de la clase, y luego los convertí de .rda a .csv y luego los convertí a datasets con pandas para después guardarlos y poder trabajar con ellos.

Camilo Andrés Rodriguez Higuera

student•

Como la URL del video ya no está disponible y el archivo se encuentra en los recursos del curso, puedes usar la ruta a ese archivo. También noté que existen repositorios en GitHub que lo tienen.

pima_indians_url = "https://static.platzi.com/media/tmp/class-files/github/curso-datos-faltantes/curso-datos-faltantes-main/data/pima-indians-diabetes.csv"

# Descargar
!wget -O ./data/pima-indians.csv {pima_indians_url} -q

# Cargar DataFrame
import pandas as pd
pd.read_csv("./data/pima-indians.csv", sep=",")

Más allá de este detalle, lo importante es practicar el proceso de descarga y carga de archivos dentro de un notebook.

Mario Alexander Vargas Celis

student•

Para practicar y aprender cómo manejar datos faltantes, puedes utilizar algunos conjuntos de datos (datasets) populares que tienen valores faltantes de manera intencional o realista. Estos datasets se utilizan frecuentemente para entrenar habilidades de preprocesamiento en ciencia de datos.

### 1. **Titanic (Kaggle)**

El famoso conjunto de datos del Titanic incluye información sobre los pasajeros del barco, con características como el nombre, edad, sexo, clase, y si sobrevivieron o no. Algunos campos, como la edad y el puerto de embarque, tienen valores faltantes.

- **Descarga**: [Titanic Dataset - Kaggle](https://www.kaggle.com/c/titanic)

- **Valores faltantes**: Age, Cabin, Embarked.

```python

import pandas as pd

titanic = pd.read_csv('titanic.csv')

print(titanic.isnull().sum())

```

### 2. **Housing Prices (Kaggle)**

Este dataset proviene de una competencia de Kaggle sobre predicción de precios de viviendas. Contiene información sobre características de las casas, como el tamaño, el número de habitaciones, el año de construcción, entre otros, y tiene valores faltantes en varias columnas.

- **Descarga**: [House Prices - Kaggle](https://www.kaggle.com/c/house-prices-advanced-regression-techniques)

- **Valores faltantes**: LotFrontage, GarageType, GarageYrBlt, etc.

```python

housing = pd.read_csv('house_prices.csv')

print(housing.isnull().sum())

```

### 3. **Air Quality (UCI Machine Learning Repository)**

Este dataset contiene información sobre la calidad del aire en Milán, Italia, y tiene muchos valores faltantes debido a fallas en los dispositivos de monitoreo. Se utiliza comúnmente para trabajar con interpolación de datos faltantes y análisis de series temporales.

- **Descarga**: [Air Quality Dataset - UCI](https://archive.ics.uci.edu/ml/datasets/Air+quality)

- **Valores faltantes**: Muchos valores faltantes debido a errores en la captura de datos.

```python

air_quality = pd.read_csv('AirQualityUCI.csv', sep=';')

print(air_quality.isnull().sum())

```

### 4. **Diabetes Dataset (Pima Indians)**

Este dataset contiene información sobre pacientes con antecedentes de diabetes y varias características médicas, como el nivel de glucosa en sangre y la presión arterial. Algunos valores son claramente incorrectos o están ausentes, por lo que se utiliza para preprocesar datos médicos.

- **Descarga**: [Diabetes Dataset - Kaggle](https://www.kaggle.com/uciml/pima-indians-diabetes-database)

- **Valores faltantes**: Algunos valores de glucosa, presión arterial y otros son 0, lo cual es un valor incorrecto y representa valores faltantes.

```python

diabetes = pd.read_csv('diabetes.csv')

diabetes.replace(0, np.nan, inplace=True)

print(diabetes.isnull().sum())

```

### 5. **World Happiness Report**

Este conjunto de datos contiene indicadores de felicidad mundial, medidos por varios factores como el PIB per cápita, la esperanza de vida, el apoyo social y la percepción de corrupción. Algunos de estos indicadores pueden estar faltantes en algunos países.

- **Descarga**: [World Happiness Report - Kaggle](https://www.kaggle.com/unsdsn/world-happiness)

- **Valores faltantes**: Algunos datos para países están ausentes en columnas como Social Support, Generosity, etc.

```python

happiness = pd.read_csv('world_happiness.csv')

print(happiness.isnull().sum())

```

### 6. **Medical Cost Personal Dataset**

Este conjunto de datos contiene información sobre los costos médicos personales según varios factores como la edad, el sexo, el IMC, el número de hijos, el hábito de fumar y la región. Algunos de estos campos pueden contener valores faltantes o no válidos.

- **Descarga**: [Medical Cost Personal Dataset - Kaggle](https://www.kaggle.com/mirichoi0218/insurance)

- **Valores faltantes**: Aunque originalmente no tiene valores faltantes, se puede modificar para introducir valores NaN para prácticas de manejo de datos faltantes.

```python

medical = pd.read_csv('insurance.csv')

medical['bmi'] = medical['bmi'].mask(medical['bmi'] < 18)

print(medical.isnull().sum())

```

### 7. **Adult Dataset (Income Prediction)**

Este dataset contiene información sobre los ingresos de adultos, junto con detalles como edad, ocupación, estado civil, etc. Tiene varios valores faltantes en categorías como la ocupación y el área de trabajo.

- **Descarga**: [Adult Dataset - UCI Machine Learning Repository](https://archive.ics.uci.edu/ml/datasets/adult)

- **Valores faltantes**: Workclass, Occupation, Native-country.

```python

adult = pd.read_csv('adult.data', header=None)

print(adult.isnull().sum())

```

---

### Técnicas para Manejar Datos Faltantes

Con estos datasets, puedes aplicar técnicas de manejo de valores faltantes como:

- **Eliminar filas o columnas con dropna()**.

- **Rellenar con un valor como fillna()**.

- **Interpolar valores faltantes usando interpolate()**.

- **Reemplazar valores faltantes con medidas estadísticas (media, mediana, moda)**.

Estas prácticas te ayudarán a gestionar correctamente los valores faltantes en tus proyectos de análisis de datos.

Eduardo Barea

student•

Otra forma de cargar el dataset es utilizando la librería de kaggle:

import kagglehub

# Download latest version
path = kagglehub.dataset_download("uciml/pima-indians-diabetes-database")

print("Path to dataset files:", path)
```posteriormente damos:

```js
%ls(path)
```Finalmente cargamos el dataset:
```js
Diabetes = pd.read_csv ("dirección del archivo")
Diabetes.head(20)

Nelson Ricardo Ramírez García

student•

Tengo un error o al parecer la base de datos ya no existe:

jesus garcia

student•

hice el duplicate en deepnote pero ya todas las lineas de comando estaban hechas

Verónica Teilletchea

student•

Hola, tenés que usar los notebooks que empiezan con live.

Camilo Andrés Rodriguez Higuera

student•

Para las últimas descargas, la URL base es la siguiente. De esta forma evitamos problemas al acceder a los archivos:

base_url = "https://github.com/njtierney/naniar/raw/refs/heads/main/data"
datasets = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"