Contenido del curso
Sergio Andres Rios Gomez
Diego Kisai Alba Gallart
Rodrigo Martinez
Mauricio Combariza
Mario Chavez
Mauro Benito Montoya Arenas
Jeinfferson Bernal G
Ruddy Ramos
Julián Cárdenas
Roy Q
Enrique Narvaez Rodriguez
Carlos Mazzaroli
Anthony Jean Paul Blaz Lazo
Miguel Ángel Acosta Rocha
Leandro Tenjo
María Eugenia Pereira Chévez
Marco Antonio Candia Ortega
Matías Chahin Toledo
Matías Chahin Toledo
Daniel Cruz
Emmanuel Guerra Sánchez
Diego Cesar Lerma Torres
Luis Lozano
Camilo Andrés Rodriguez Higuera
Mario Alexander Vargas Celis
Eduardo Barea
Nelson Ricardo Ramírez García
jesus garcia
Verónica Teilletchea
Esteban Camilo Henao Ruiz
No son buenos los cursos que utilizan deepnote, la herramienta no es tan escalable en un ambiene laboral y el manejo es complejo.
Quizá esto te sorprenda, pero tu puedes usar la herramienta que tu desees, no estas obligado a usar deepnote.
Exacto, es mucho mas facil usar kaggle, G.C. o entorno local
Si depronto alguien lo esta haciendo en jupyter notebook y le sale que no reconoce al comando wget, la libreria urllb puede hacer lo mismo que wget Primer paso crea la carpeta data 2.
import urllib.request url = pima_indians_diabetes_url filename = "./data/pima-indians-diabetes.csv" urllib.request.urlretrieve(url, filename)
Tambien valdría la penda intentar con curl {tu_url} > dataset.csv generalmente las distribuciones traen una de las dos y ambas sirven
Gracias por tu ayuda amigo.
Conociendo nuestro datasets para manejo de datos faltantes
Descarga de archivos mediante una URL en el Notebooks
nombre_variable = "URL"
!wget -O ./data/pima-indians-diabetes.csv { nombre_variable } -q #!linea de comandos # wget-comando para descargar datos # -O # ruta para almacenar los datos + nombre # {URL} # -q para que no muestre la descarga
Descarga de varios archivos desde una URL
#Guarda la URL en una variable base_url = "https://github.com/njtierney/naniar/raw/master/data/" #Guarda los nombres de los archivos a descargar en una lista datasets_names = ("oceanbuoys", "pedestrian", "riskfactors") #Guarda la extension de los archivos en una variable extension = ".rda"
datasets_dfs = {} # diccionario para almacenar lor archivos for dataset_name in datasets_names: dataset_file = f"{ dataset_name }{ extension }" dataset_output_file = f"./data/{ dataset_file }" dataset_url = f"{ base_url }{ dataset_file }" !wget -q -O { dataset_output_file } { dataset_url } #linea de comando para descargar datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name) datasets_dfs.keys()
locals().update(**datasets_dfs) del datasets_dfs
oceanbuoys_df.shape, pedestrian_df.shape, riskfactors_df.shape, diabetes_df.shape
Gracias por el aporte.
Gracias!
Comparto como hice para descargar los datasets tanto .csv y .rda desde la url usando el módulo requests:
requests:pip install requests
import requests pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv" response = requests.get(pima_indians_diabetes_url) if response.status_code == 200: with open(f"./data/{pima_indians_diabetes_url.split('/')[-1]}", "wb") as file: file.write(response.content)
Para descargar los demás datasets:
base_url = "https://github.com/njtierney/naniar/raw/master/data/" datasets_names = ("oceanbuoys", "pedestrian", "riskfactors") extension = ".rda"
Función para descargar los datasets .rda:
dataset_url) y ruta relativa del archivo donde se va guardardef download_data(dataset_url, dataset_output_file ): response = requests.get(dataset_url) if response.status_code == 200: with open(f"{dataset_output_file}", "wb") as file: file.write(response.content) print(f"{dataset_url.split('/')[-1]} descargado en {dataset_output_file}")
datasets_dfs = {} for dataset_name in datasets_names: dataset_file = f"{ dataset_name }{ extension }" dataset_output_file = f"./data/{ dataset_file }" dataset_url = f"{ base_url }{ dataset_file }" # !wget -q -O { dataset_output_file } { dataset_url } download_data(dataset_url, dataset_output_file ) datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name) datasets_dfs.keys()
Nota: Para descargar el archivo
pima-indians-diabetes.csvcon la funcion:
pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv" download_data(pima_indians_diabetes_url, f"./data/{pima_indians_diabetes_url.split('/')[-1]}")
12 de Marzo 2024 (Cargar datasets en Collab)
Despues de casi rendirme y cargar los archivos de una manera muy poco digna de este mundo del código, al final de leer los comentarios y probar varias cosas dí con la solución.
Cabe resaltar que no soy un experto y utilizo Collab por lo practico que se me hace la herramienta a diferencia de DeepNote.
import urllib.request import requests base_url = "https://github.com/njtierney/naniar/blob/master/data/" datasets_names = ("oceanbuoys", "pedestrian", "riskfactors") extension = ".rda" ```Utilzando urllib.*request* ```python datasets_dfs = {} for data in datasets_names: url = f'{base_url}{data}{extension}?raw=true' filename = f'./{data}{extension}' urllib.request.urlretrieve(url, filename) datasets_dfs[f"{data}_df"] = pyreadr.read_r(f'/content/{filename}').get(data) ```Utilizando requests ```python def download_data(dataset_url, dataset_output_file ): response = requests.get(dataset_url) if response.status_code == 200: with open(f"{dataset_output_file}", "wb") as file: file.write(response.content) print(f"{dataset_url.split('/')[-1]} descargado en {dataset_output_file}") datasets_dfs = {} for dataset_name in datasets_names: dataset_file = f"{ dataset_name }{ extension }" dataset_output_file = f"{ dataset_file }" dataset_url = f"{ base_url }{ dataset_file }?raw=true" #!wget -q -O { dataset_output_file } { dataset_url } download_data(dataset_url, dataset_output_file ) datasets_dfs[f"{dataset_name}_df"] = pyreadr.read_r(f'/content/{dataset_output_file}').get(dataset_name) datasets_dfs.keys() ```Son dos soluciones, al final pueden consultar el diccionario de dataframes y veran que ya tienen los datasets, les adjunto las imagenes.   Saludos.
Copien y peguen
base_url = "https://github.com/njtierney/naniar/raw/master/data/" datasets_names = ("oceanbuoys", "pedestrian", "riskfactors") extension = ".rda"
Gracias
hola carlos, de casualidad no tienes públicos tus apuntes de este curso? siempre son de mucha ayuda! gracias:)
Usar variables entre diferentes Notebooks
%store {variable}
… Tengo diferentes Notebooks para mantener el orden. No sabia como importar los dataframes entre cada Notebook sin tener que llamarlos cada que empezaba un cuaderno nuevo. Esa fue la solucion que encontre.
Ejemplo:
%store diabetes_df
y ahora solo llamo a la variable en el otro notebook y listo. Tambien ejecuto este comando a inicio de cada notebook para asegurarme de que las variables se carguen correctamente.
%store -r
Es para refrescar la lista de variables guardadas
Me encantan los cursos de Jesús, siempre nos enseña herramientas nuevas en sus cursos. Presenta el contenido del curso y siempre aporta un valor adicional.
Para descargar y cargar varios conjuntos de datos con wget en un bucle for:
datasets_dfs = {} for dataset_name in datasets_names: dataset_file = f"{ dataset_name }{ extension }" dataset_output_file = f"./data/{ dataset_file }" dataset_url = f"{ base_url }{ dataset_file }" wget.download(dataset_url, dataset_output_file ) ##!wget -q -O { dataset_output_file } { dataset_url } datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name) datasets_dfs.keys()
Al ver que las url ya no funcionan, me gustaría proponer una alternativa para aquellos que se han quedado estancados en el paso de la carga de los datasets. Hice unas pequeñas modificaciones al código para poder seguir adelante con el ejercicio.
pd: le cambié el nombre a los datasets (por ejemplo, de riskfactors_df a df_riskfactors) pero por gusto propio.
Espero que les sea de ayuda. :)
pd2: los datasets los descargué directamente desde los recursos de la clase, y luego los convertí de .rda a .csv y luego los convertí a datasets con pandas para después guardarlos y poder trabajar con ellos.
Esta herramienta no es muy amigable y no puedo hacer los ejerciicos como salen en las clases
Septiembre de 2024:
Versión simplificada para descargar los archivos .rda:
datasets_df = {} for dataset_name in datasets_names: temp_rda_file = pyreadr.download_file( f"{base_url}{dataset_name}{extension}?raw=true", f"{dataset_name}{extension}" ) temp_df = pyreadr.read_r(f"./{temp_rda_file}")[dataset_name] datasets_df[f"{dataset_name}_df"] = temp_df datasets_df.keys()
Tambien pueden abrir directamente la base de datos desde un URL con la misma funcion pd.read_csv
pima_indians_diabetes_url="https://raw.githubusercontent.com/npradaschnor/Pima-Indians-Diabetes-Dataset/master/diabetes.csv" pd.read_csv(pima_indians_diabetes_url)
Con el codigo que les pase anteriormente logre tener el mismo resultado que el profesor:
Como la URL del video ya no está disponible y el archivo se encuentra en los recursos del curso, puedes usar la ruta a ese archivo. También noté que existen repositorios en GitHub que lo tienen.
pima_indians_url = "https://static.platzi.com/media/tmp/class-files/github/curso-datos-faltantes/curso-datos-faltantes-main/data/pima-indians-diabetes.csv" # Descargar !wget -O ./data/pima-indians.csv {pima_indians_url} -q # Cargar DataFrame import pandas as pd pd.read_csv("./data/pima-indians.csv", sep=",")
Más allá de este detalle, lo importante es practicar el proceso de descarga y carga de archivos dentro de un notebook.
Para practicar y aprender cómo manejar datos faltantes, puedes utilizar algunos conjuntos de datos (datasets) populares que tienen valores faltantes de manera intencional o realista. Estos datasets se utilizan frecuentemente para entrenar habilidades de preprocesamiento en ciencia de datos.
### 1. **Titanic (Kaggle)**
El famoso conjunto de datos del Titanic incluye información sobre los pasajeros del barco, con características como el nombre, edad, sexo, clase, y si sobrevivieron o no. Algunos campos, como la edad y el puerto de embarque, tienen valores faltantes.
- **Descarga**: [Titanic Dataset - Kaggle](https://www.kaggle.com/c/titanic)
- **Valores faltantes**: Age, Cabin, Embarked.
```python
import pandas as pd
titanic = pd.read_csv('titanic.csv')
print(titanic.isnull().sum())
```
### 2. **Housing Prices (Kaggle)**
Este dataset proviene de una competencia de Kaggle sobre predicción de precios de viviendas. Contiene información sobre características de las casas, como el tamaño, el número de habitaciones, el año de construcción, entre otros, y tiene valores faltantes en varias columnas.
- **Descarga**: [House Prices - Kaggle](https://www.kaggle.com/c/house-prices-advanced-regression-techniques)
- **Valores faltantes**: LotFrontage, GarageType, GarageYrBlt, etc.
```python
housing = pd.read_csv('house_prices.csv')
print(housing.isnull().sum())
```
### 3. **Air Quality (UCI Machine Learning Repository)**
Este dataset contiene información sobre la calidad del aire en Milán, Italia, y tiene muchos valores faltantes debido a fallas en los dispositivos de monitoreo. Se utiliza comúnmente para trabajar con interpolación de datos faltantes y análisis de series temporales.
- **Descarga**: [Air Quality Dataset - UCI](https://archive.ics.uci.edu/ml/datasets/Air+quality)
- **Valores faltantes**: Muchos valores faltantes debido a errores en la captura de datos.
```python
air_quality = pd.read_csv('AirQualityUCI.csv', sep=';')
print(air_quality.isnull().sum())
```
### 4. **Diabetes Dataset (Pima Indians)**
Este dataset contiene información sobre pacientes con antecedentes de diabetes y varias características médicas, como el nivel de glucosa en sangre y la presión arterial. Algunos valores son claramente incorrectos o están ausentes, por lo que se utiliza para preprocesar datos médicos.
- **Descarga**: [Diabetes Dataset - Kaggle](https://www.kaggle.com/uciml/pima-indians-diabetes-database)
- **Valores faltantes**: Algunos valores de glucosa, presión arterial y otros son 0, lo cual es un valor incorrecto y representa valores faltantes.
```python
diabetes = pd.read_csv('diabetes.csv')
diabetes.replace(0, np.nan, inplace=True)
print(diabetes.isnull().sum())
```
### 5. **World Happiness Report**
Este conjunto de datos contiene indicadores de felicidad mundial, medidos por varios factores como el PIB per cápita, la esperanza de vida, el apoyo social y la percepción de corrupción. Algunos de estos indicadores pueden estar faltantes en algunos países.
- **Descarga**: [World Happiness Report - Kaggle](https://www.kaggle.com/unsdsn/world-happiness)
- **Valores faltantes**: Algunos datos para países están ausentes en columnas como Social Support, Generosity, etc.
```python
happiness = pd.read_csv('world_happiness.csv')
print(happiness.isnull().sum())
```
### 6. **Medical Cost Personal Dataset**
Este conjunto de datos contiene información sobre los costos médicos personales según varios factores como la edad, el sexo, el IMC, el número de hijos, el hábito de fumar y la región. Algunos de estos campos pueden contener valores faltantes o no válidos.
- **Descarga**: [Medical Cost Personal Dataset - Kaggle](https://www.kaggle.com/mirichoi0218/insurance)
- **Valores faltantes**: Aunque originalmente no tiene valores faltantes, se puede modificar para introducir valores NaN para prácticas de manejo de datos faltantes.
```python
medical = pd.read_csv('insurance.csv')
medical['bmi'] = medical['bmi'].mask(medical['bmi'] < 18)
print(medical.isnull().sum())
```
### 7. **Adult Dataset (Income Prediction)**
Este dataset contiene información sobre los ingresos de adultos, junto con detalles como edad, ocupación, estado civil, etc. Tiene varios valores faltantes en categorías como la ocupación y el área de trabajo.
- **Descarga**: [Adult Dataset - UCI Machine Learning Repository](https://archive.ics.uci.edu/ml/datasets/adult)
- **Valores faltantes**: Workclass, Occupation, Native-country.
```python
adult = pd.read_csv('adult.data', header=None)
print(adult.isnull().sum())
```
---
### Técnicas para Manejar Datos Faltantes
Con estos datasets, puedes aplicar técnicas de manejo de valores faltantes como:
- **Eliminar filas o columnas con dropna()**.
- **Rellenar con un valor como fillna()**.
- **Interpolar valores faltantes usando interpolate()**.
- **Reemplazar valores faltantes con medidas estadísticas (media, mediana, moda)**.
Estas prácticas te ayudarán a gestionar correctamente los valores faltantes en tus proyectos de análisis de datos.
Otra forma de cargar el dataset es utilizando la librería de kaggle:
import kagglehub # Download latest version path = kagglehub.dataset_download("uciml/pima-indians-diabetes-database") print("Path to dataset files:", path) ```posteriormente damos: ```js %ls(path) ```Finalmente cargamos el dataset: ```js Diabetes = pd.read_csv ("dirección del archivo") Diabetes.head(20)
Tengo un error o al parecer la base de datos ya no existe:
hice el duplicate en deepnote pero ya todas las lineas de comando estaban hechas
Hola, tenés que usar los notebooks que empiezan con live.
Muy poco amigable esta metodología y los recursos con deepnote, deberían de estar disponibles acá para una descarga directa.