Partición de Datos en Archivos CSV con Pandas

Clase 17 de 24 • Curso de ETL e ingesta de datos con Python

Christian Julian Acosta Santamaria

student•

Hola, en el ejercicio para practicar, si no se ha creado anteriormente la carpeta para guardar el particionamiento de datos en el snipet de Ruta Personalizada este genera un error de no encontrar la ruta a donde enviar el archivo.

Yo lo solucioné agregando el siguiente código dentro del ciclo for:

#Crear carpeta en caso de no existir os.makedirs(ruta_destino,exist_ok=True)

esta función de os crea la carpeta en la ruta indicada, y el parámetro exist_ok = True realiza una omisión en la creación de la carpeta en caso de que ya exista, puesto que si no se agrega este parámetro genera error indicando que ya existe la carpeta.

Espero que pueda servir de ayuda. Buen dia! :)

Layla Scheli

teacher•

Gracias por la info, saludos :)

Mario Alexander Vargas Celis

student•

El particionado de datos es una técnica fundamental en Machine Learning, especialmente cuando se trabaja con datasets grandes. El objetivo es dividir los datos en conjuntos de entrenamiento, validación y prueba para evaluar el rendimiento de los modelos. En Python, sklearn es la librería más utilizada para realizar esta tarea.

Métodos Comunes de Particionado de Datos:

1. Partición Aleatoria (Random Split)

Este método divide los datos en subconjuntos de forma aleatoria.

import numpy as np from sklearn.model_selection import train_test_split

# Datos ficticios X = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10]) # Características y = np.array([10, 20, 30, 40, 50, 60, 70, 80, 90, 100]) # Etiquetas

# Partición aleatoria en 70% de entrenamiento y 30% de prueba X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

print("Entrenamiento X:", X_train) print("Prueba X:", X_test)

2. Partición Basada en Tiempo

Este método es útil cuando los datos tienen una secuencia temporal y quieres mantener la relación temporal en los datos de entrenamiento y prueba.

from sklearn.model_selection import TimeSeriesSplit

# Datos ficticios (con una secuencia temporal) time_series_data = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# Crear particiones basadas en el tiempo tscv = TimeSeriesSplit(n_splits=3) # 3 particiones

for train_index, test_index in tscv.split(time_series_data): print("TRAIN:", train_index, "TEST:", test_index) X_train, X_test = time_series_data[train_index], time_series_data[test_index] print("X_train:", X_train, "X_test:", X_test)

3. Partición K-Folds

Este método divide los datos en k partes iguales y realiza validación cruzada.

from sklearn.model_selection import KFold

# Datos ficticios X = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# Partición K-Folds kf = KFold(n_splits=5, shuffle=True, random_state=42)

for train_index, test_index in kf.split(X): print("TRAIN:", train_index, "TEST:", test_index) X_train, X_test = X[train_index], X[test_index] print("X_train:", X_train, "X_test:", X_test)

4. Partición Proporcional a un grupo o clase

Este método divide los datos según una proporción deseada, como por ejemplo las clases.

from sklearn.model_selection import StratifiedShuffleSplit

# Datos ficticios con clases desequilibradas X = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10]) y = np.array([0, 0, 1, 1, 0, 0, 1, 1, 0, 0]) # Etiquetas binarias

# Partición estratificada sss = StratifiedShuffleSplit(n_splits=1, test_size=0.3, random_state=42)

for train_index, test_index in sss.split(X, y): print("TRAIN:", train_index, "TEST:", test_index) X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] print("X_train:", X_train, "y_train:", y_train) print("X_test:", X_test, "y_test:", y_test)

Beneficios del Particionado de Datos:

Entrenamiento: Crear modelos robustos utilizando sólo los datos del conjunto de entrenamiento.
Validación: Evaluar el rendimiento del modelo usando datos no vistos previamente.
Prueba: Verificar el rendimiento final del modelo en datos completamente nuevos.

Con estos métodos puedes elegir el adecuado según las necesidades de tu proyecto, ya sea para modelos supervisados, análisis temporal, validación cruzada, etc. ¿Te gustaría más detalles o ejemplos adicionales?

Layla Scheli

teacher•

Gracias por la info, Mario :)

Jorge Luis Castillo Ruz

student•

No me gusta el nuevo formato, genuinamente siento que es más complicado para mí no ver al profesor, un buen formato talvez sería tener el código que ofrece el nuevo formato embebido en los videos clásicos. Agradezco el esfuerzo de platzi por mejorar nuestra educación.

Layla Scheli

teacher•

Gracias Jorge, lo consideramos como feedback, saludos :)

Karla Verónica Álvarez Vázquez

student•

El particionado de datos en Python se refiere a la práctica de dividir conjuntos de datos en partes más manejables, lo que facilita su análisis y mejora la eficiencia. Se puede hacer de diferentes maneras, como particionar por columnas (por ejemplo, categorizando productos) o por grupos (como meses en un conjunto de datos de ventas). Usar herramientas como Pandas permite implementar estas divisiones de manera efectiva y estructurada, optimizando así el manejo de grandes volúmenes de información.

Diego Aquino

student•

Mucho más eficiente manejar archivos con grandes volumenes de datos en formato 'parquet'

Partición de Datos en Archivos CSV con Pandas

Fundamentos de ETL con Python

Procesos ETL: Extracción, Transformación y Carga de Datos

Manipulación de Datos con Python: De CSV a ETL Completo

Fuentes de Datos: Archivos, Bases de Datos y APIs en Análisis de Ventas

Instalación de Anaconda y Jupyter para Procesamiento de Datos

Técnicas Efectivas de Transformación de Datos

Lectura y Exploración de Archivos CSV con Pandas en Python

Manejo de Archivos Excel con Pandas para Procesos ETL

Ingesta de Datos desde APIs con Python

Conexión y consulta de bases de datos en Python con SQLite3 y SQLAlchemy

Series y DataFrames en Pandas: Diferencias y Usos Prácticos

Métricas Clave en el Perfilado de Datos para Análisis de Calidad

Limpieza de Datos en Python con Pandas

Filtrado, Selección y Transformación de Datos con Pandas

Agrupación y Resumen de Datos con Pandas

Manipulación Avanzada de Datos con Python y Pandas

Carga de Datos y Proyecto Final

Exportación de DataFrames a CSV con Pandas paso a paso

Gestión de Datos: Carga Completa vs. Carga Incremental en Python

Partición de Datos en Archivos CSV con Pandas

Carga Incremental de Datos en Archivos Excel con Python

Importación de la Base de Datos Sakila en MySQL Workbench

Transformaciones de Datos ETL con Python y MySQL

Transformaciones de Datos con Python y SQL

Buenas prácticas y errores comunes en procesos ETL

Carga y Validación de Datos en Sakila ETL con Python y SQL

Fundamentos de ETL con Python: Extracción, Transformación y Carga de Datos