Conociendo datasets para manejo de datos faltantes

Si depronto alguien lo esta haciendo en jupyter notebook y le sale que no reconoce al comando wget, la libreria urllb puede hacer lo mismo que wget
Primer paso crea la carpeta data
2.

import urllib.request
url = pima_indians_diabetes_url
filename = "./data/pima-indians-diabetes.csv"
urllib.request.urlretrieve(url, filename)

No son buenos los cursos que utilizan deepnote, la herramienta no es tan escalable en un ambiene laboral y el manejo es complejo.

Conociendo nuestro datasets para manejo de datos faltantes

Descarga de archivos mediante una URL en el Notebooks

• Guardar la url en una variable

nombre_variable = "URL"

• Utiliza la linea de comandos desde el notebooks para descargar los datos

!wget -O ./data/pima-indians-diabetes.csv { nombre_variable } -q
#!linea de comandos
# wget-comando para descargar datos
# -O 
# ruta para almacenar los datos + nombre
# {URL} 
# -q para que no muestre la descarga

Descarga de varios archivos desde una URL

• Crea unidades de informacion de los conjuntos de Datos

#Guarda la URL en una variable
base_url = "https://github.com/njtierney/naniar/raw/master/data/"
#Guarda los nombres de los archivos a descargar en una lista 
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
#Guarda la extension de los archivos en una variable
extension = ".rda"

• Descarga y carga los conjuntos de datos en un dataset

datasets_dfs = {} # diccionario para almacenar lor archivos

for dataset_name in datasets_names:

    dataset_file = f"{ dataset_name }{ extension }"
    dataset_output_file = f"./data/{ dataset_file }"
    dataset_url = f"{ base_url }{ dataset_file }"
    
    !wget -q -O { dataset_output_file } { dataset_url } #linea de comando para descargar

    datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)

datasets_dfs.keys()

• Incluir el conjunto de datos en nuestro ambiente local

locals().update(**datasets_dfs)
del datasets_dfs

• Verificar que hayan cargado

oceanbuoys_df.shape, pedestrian_df.shape, riskfactors_df.shape, diabetes_df.shape

Copien y peguen

base_url = "https://github.com/njtierney/naniar/raw/master/data/"
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"

Comparto como hice para descargar los datasets tanto .csv y .rda desde la url usando el módulo requests:

• Instalar el modulo requests:

pip install requests

• Código:

import requests
pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv"
response = requests.get(pima_indians_diabetes_url)
if response.status_code == 200:
    with open(f"./data/{pima_indians_diabetes_url.split('/')[-1]}", "wb") as file:
        file.write(response.content)

Para descargar los demás datasets:

• Creando unidades de informacioón de los conjuntos de datos:

base_url = "https://github.com/njtierney/naniar/raw/master/data/"
datasets_names = ("oceanbuoys", "pedestrian", "riskfactors")
extension = ".rda"

• Función para descargar los datasets .rda:

  • Funcion que descarga un dataset dado la url (dataset_url) y ruta relativa del archivo donde se va guardar

  def download_data(dataset_url, dataset_output_file ):
  response = requests.get(dataset_url)
  if response.status_code == 200:
      with open(f"{dataset_output_file}", "wb") as file:
          file.write(response.content)
  print(f"{dataset_url.split('/')[-1]} descargado en {dataset_output_file}")
  

  • Funcion que descarga todos los datasets

  datasets_dfs = {}
  for dataset_name in datasets_names:
   dataset_file = f"{ dataset_name }{ extension }"
  	dataset_output_file = f"./data/{ dataset_file }"
  	dataset_url = f"{ base_url }{ dataset_file }"
  	# !wget -q -O { dataset_output_file } { dataset_url }
  	download_data(dataset_url, dataset_output_file )
  	datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)
  datasets_dfs.keys()
  

Nota: Para descargar el archivo pima-indians-diabetes.csv con la funcion:

pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv"
download_data(pima_indians_diabetes_url, f"./data/{pima_indians_diabetes_url.split('/')[-1]}")

Me encantan los cursos de Jesús, siempre nos enseña herramientas nuevas en sus cursos. Presenta el contenido del curso y siempre aporta un valor adicional.

Usar variables entre diferentes Notebooks

%store {variable}

…
Tengo diferentes Notebooks para mantener el orden. No sabia como importar los dataframes entre cada Notebook sin tener que llamarlos cada que empezaba un cuaderno nuevo. Esa fue la solucion que encontre.

Ejemplo:

%store diabetes_df

y ahora solo llamo a la variable en el otro notebook y listo.
Tambien ejecuto este comando a inicio de cada notebook para asegurarme de que las variables se carguen correctamente.

%store -r

Es para refrescar la lista de variables guardadas

Para descargar y cargar varios conjuntos de datos con wget en un bucle for:

datasets_dfs = {}

for dataset_name in datasets_names:

    dataset_file = f"{ dataset_name }{ extension }"
    dataset_output_file = f"./data/{ dataset_file }"
    dataset_url = f"{ base_url }{ dataset_file }"
    
    wget.download(dataset_url, dataset_output_file )
    ##!wget -q -O { dataset_output_file } { dataset_url }

    datasets_dfs[f"{ dataset_name }_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)

datasets_dfs.keys()

Tengo un error o al parecer la base de datos ya no existe:

hice el duplicate en deepnote pero ya todas las lineas de comando estaban hechas

como para ver que va sucediendo…

en mi caso:

import pandas as pd

# Carga el conjunto de datos
file_path = "pima-indians-diabetes.csv"
df = pd.read_csv(file_path)

# Identificación de valores faltantes
missing_values = df.isnull().sum()
print("Valores faltantes por columna:")
print(missing_values)

# Porcentaje de valores faltantes por columna
missing_percentage = (missing_values / len(df)) * 100
print("Porcentaje de valores faltantes por columna:")
print(missing_percentage)

# Tratamiento de valores faltantes (ejemplo: imputación por la media solo en columnas numéricas)
numeric_columns = df.select_dtypes(include='number')  # Filtra solo columnas numéricas
df[numeric_columns.columns] = df[numeric_columns.columns].fillna(df[numeric_columns.columns].mean())

# Muestra las primeras filas del DataFrame con valores faltantes imputados
print("Con valores faltantes imputados por la media:")
print(df.head())

Si alguien tiene problemas al descargar los archivos puede que tengan el mismo problema que tuve yo:

Tuve un problema respecto a la URL de los archivos .rda,
en el video muestra este link:

base_url = "https://github.com/njtierney/naniar/raw/master/data/"

pero a la fecha de hoy 09-06-2023, ahora es

base_url = "https://github.com/njtierney/naniar/blob/master/data/"

cambio el …/raw/… por …/blob/…

ademas tuve que agregar al final del URL ?raw=true
dentro del for que realiza la descarga de la siguiente manera:

dataset_url = f"{ base_url }{ datasets_file }?raw=true"

-q

significa “quiet mode”

Desmenuzando datasets_dfs[f'{dataset_name}_df'] = pyreadr.read_r(dataset_output_file).get(dataset_name):

The given code seems to be loading a dataset from an R data file using the pyreadr library and storing it in a pandas DataFrame.

Let’s break down the code:

1. datasets_dfs[f'{dataset_name}_df']: This creates a new key-value pair in the datasets_dfs dictionary, where the key is constructed by appending _df to the dataset_name variable. This suggests that datasets_dfs is a dictionary that stores multiple DataFrames, each associated with a specific dataset.

2. pyreadr.read_r(dataset_output_file): This reads the R data file specified by dataset_output_file using the read_r function from the pyreadr library. The function reads the data file and returns a dictionary-like object containing the data.

3. .get(dataset_name): This retrieves the value associated with the dataset_name key from the dictionary-like object returned by pyreadr.read_r. It retrieves the specific dataset from the dictionary-like object.

4. The resulting DataFrame is then assigned to the key in the datasets_dfs dictionary, creating an entry that associates the dataset name with the corresponding DataFrame.

Overall, this code reads an R data file using pyreadr, extracts a specific dataset from the file, and stores it as a pandas DataFrame in the datasets_dfs dictionary under a key named after the dataset.

Tuve problemas en descargar y cargar los datos,para ello use elsiguinete codigo: import wget
import pyreadr

Definir la URL base, los nombres de los datasets y la extensión de los archivos

base_url = "https://github.com/njtierney/naniar/raw/master/data/"
datasets_names = [“oceanbuoys”, “pedestrian”, “riskfactors”]
extension = “.rda”

Definir la carpeta de destino en tu computadora

folder_name = “my_data_folder”

Descargar los datasets y guardarlos en la carpeta de destino

for dataset in datasets_names:
url = base_url + dataset + extension
file_name = f’{dataset}{extension}‘
wget.download(url, f’./{folder_name}/{file_name}’)

Cargar los datasets en dataframes de pandas

datasets_dfs = {}
for dataset_name in datasets_names:
dataset_file = f"{dataset_name}{extension}“
dataset_output_file = f”./{folder_name}/“
datasets_dfs[f”{ dataset_name }_df"] = pyreadr.read_r(f"{dataset_output_file}/{dataset_file}").get(dataset_name)

Verificar que se hayan cargado los datasets correctamente

datasets_dfs.keys() ,cual fue mi error, que antes debía crear la arpeta my_folder en el terminal wsl d linux de la siguinete manera: mkdir -p /home/“tu_nombre”/my_data_folder

Si están trabajando en colab pueden instalar los paquetes usando !pip por ejemplo !pip install …

tuve que poner la clase en 0.5x va mas rapido que el mismo toreto en rapido y furioso 10

Otra alternativa para descargar el archivo de la web sería:

# !pip install wget

import wget 

pima_indians_diabetes_url = "https://nrvis.com/data/mldata/pima-indians-diabetes.csv"
destination = './data/pima-indians-diabetes.csv'

url = wget.download(pima_indians_diabetes_url, destination )

Me esta gustando mucho este curso, pocos de ellos hablan de datos faltantes, que bueno que hicieron uno especializado.

datasets_dfs = {}

for dataset_name in datasets_names:
    dataset_file = f"{ dataset_name }{ extension }"
    dataset_output_file = f"./data/{ dataset_file }"
    dataset_url = f"{ base_url }{ dataset_file }"
    
    !wget -q -O {dataset_output_file} {dataset_url}
    
    datasets_dfs[f"{dataset_name}_df"] = pyreadr.read_r(dataset_output_file).get(dataset_name)
datasets_dfs.keys()