Transformación

Clase 8 de 25 • Curso de Fundamentos de ETL con Python y Pentaho

Resumen

¿Qué consideraciones son importantes para la transformación de datos en un proceso ETL?

En el proceso de ETL (Extracción, Transformación y Carga), la transformación de datos es un paso crucial e intracado. Antes de aventurarnos en el código, es vital considerar ciertos aspectos que nos permitirán hacer de la transformación un éxito. Asegúrate de establecer una estructura final para los datos que deseas obtener, conocer cómo relacionar las distintas fuentes de datos, y decidir cómo manejar duplicados, faltantes y realizar agregaciones. A continuación, desglosaremos cada una de estas consideraciones.

¿Cuál es la estructura final de los datos?

Al iniciar con el proceso ETL, es esencial definir cómo deben quedar los datos en su destino final o "target". Esta planificación ayudará a seleccionar las herramientas y librerías necesarias para dar forma a la estructura deseada. Debemos tener una meta clara desde el principio; así se podrá evitar complicaciones más adelante, y se maximizará la eficiencia en el camino hacia el resultado deseado.

¿Cómo relacionar las distintas fuentes de datos?

En muchos proyectos, trabajamos con datos de múltiples fuentes. Por ejemplo, podemos tener un código de país y un código de producto, que nos permitan establecer conexiones y relaciones entre las distintas fuentes. Sin un plan claro para estas relaciones, será crucial realizar un análisis exploratorio de datos para identificar cómo interconectar los datos de manera efectiva.

¿Cómo manejar la normalización?

La normalización en el contexto de bases de datos implica organizar los datos de manera eficiente para evitar redundancias y mejorar el acceso. Debemos decidir qué nivel de normalización se requiere al llegar al target, evaluando cuidadosamente cómo se deberían relacionar los datos, como los de una base de datos de transacciones, con otros conjuntos de datos.

¿Qué hacer con los duplicados?

Manejar duplicados es una práctica común en la transformación de datos. Es importante planificar qué hacer si se encuentran registros o columnas duplicadas. Saber cómo gestionar estas situaciones ayudará a mantener la integridad y veracidad de los datos, evitando errores que puedan perjudicar el análisis final.

¿Cómo abordar los datos faltantes?

Los datos faltantes son habituales en cualquier proceso de transformación. Puede ocurrir que un dato crucial, como el código de un país, esté ausente. Es fundamental decidir de antemano cómo se tratarán estos casos. ¿Deben eliminarse los datos faltantes o sustituirse por alguna otra información? Tener una estrategia previa evitará complicaciones durante la transformación.

¿Cómo realizar agregaciones efectivas?

Las agregaciones son clave para crear información más detallada y enriquecida. A través de operaciones como sumatorias, máximos, mínimos o promedios, podemos sintetizar información compleja y añadir valor a nuestro análisis. El uso de herramientas como group by en SQL o pandas facilitará este proceso, incrementando la claridad y utilidad de los datos transformados.

Las consideraciones mencionadas son fundamentales para garantizar una exitosa transformación de datos en un proceso ETL. Al tener una visión clara y estratégica, no solo optimizamos los recursos, sino que también potenciamos la calidad de la información que obtenemos, logrando así un resultado final de alto valor. ¡Adelante, y sigue explorando el vasto mundo de la transformación de datos!

Andres Sanchez

student•

8. Transformación

Estructura final: ¿Con qué estructura requiero los datos compatibles con el target?
Relaciones
Normalización: normalizar los datos para lograr consistencia a lo largo del flujo de datos
Duplicados: con qué estructura requiero los datos compatibles con el target
Datos faltantes: qué ocurre con los datos faltantes de mi data
Agregaciones: debo agrupar los datos por alguna característica y buscar agregaciones como suma, promedio, máximo y demas.

Mauricio Escobar

student•

Qué onda👋 . Ahí les van mis apuntes, que en realidad son una paráfrasis (si digo burradas ténganme paciencia auxilio estoy aprendiendo🦖):

Hay algunas cosas que tenemos que considerar a la hora de comenzar el proceso de transformación de datos:

Estructura final:

En función de las necesidades del proyecto, definir el shape final de cómo deberían verse los datos. Y cargarlos al target

Relaciones:

Generar una hipótesis de cuáles podrían ser las relaciones que reflejen mejor el resultado que queremos obtener.

Para evitar sesgos lo mejor es comparar esta hipótesis en un escenario en donde su resultado sería irrelevante.

Si la segunda hipótesis se confirma, lo mejor será cambiar las relaciones y continuar con el análisis exploratorio.

Normalización:

Decidir qué estructura de relación a nivel de bases de datos voy a llevar a cabo

se hace al normalizar los datos (1FN,2FN,…) para lograr consistencia a lo largo del flujo de datos

Encontrar las relaciones conceptuales (no numéricas / estadísticas) entre las columnas de cada una de las tablas

Duplicados :

Considerar qué hacer con ellos🤔. Para ello es importante saber el contexto de los datos.

Es decir, si es relevante y tenga sentido su existencia, tal que aporten información a los resultados, dejarlos en paz. Si son simplemente elementos por error, lo mejor sería ignorarlos en el análisis exploratorio

🚫Si simplemente los borramos porque vemos dos iguales, podríamos estar sesgando los resultados. Igualmente si es necesario hacerlo y no borrarlos

Datos faltantes:

Igual que con los duplicados. Considerar su tratamiento e imputación dependiendo del contexto del cuál fueron extraídos.

En otras palabras: investigar la razón de la existencia de ese faltante
otro aspecto a considerar es que a veces existen datos faltantes que no se observan de manera explícita.
- La razón de esto es porque fueron llenados con un valor (numérico / str) que es reconocible por pandas(ejemplo: columna edad= 99999). Son un poco más difíciles de encontrar, porque están enmascarados, haciéndose pasar por datos normales cuando en realidad son datos nulos impostores.

Ejemplo: en un dataset con información de salud de los pacientes, si existe una columna “fumador”, ó “sobrepeso” la existencia de un faltante en esta columna nos genera al menos dos hipótesis del paciente en cuestión: 1: no existe tal información del paciente, 2: El paciente no es fumador, y simplemente la tabla está hecha incorrectamente (o falta normalizarse)

Agregaciones:

Lo que dijo el profe🍻

Mario Alexander Vargas Celis

student•

En el contexto de **ETL (Extract, Transform, Load)**, la **Transformación** es la etapa intermedia del proceso. Su propósito principal es convertir los datos extraídos desde las fuentes en un formato adecuado para ser almacenados y utilizados en el sistema de destino, como un Data Warehouse.

### Principales tareas en la Transformación:

1. **Limpieza de datos**:

- Eliminar duplicados.

- Gestionar valores faltantes.

- Corregir errores en los datos.

2. **Estandarización**:

- Asegurar que los datos tienen el mismo formato y estructura.

- Por ejemplo, unificar formatos de fechas o convertir unidades.

3. **Enriquecimiento de datos**:

- Combinar datos de múltiples fuentes para agregar más contexto o información útil.

4. **Cálculos y derivaciones**:

- Crear nuevas columnas o métricas a partir de los datos existentes, como calcular ingresos netos o márgenes de ganancia.

5. **Filtrado**:

- Seleccionar solo los datos relevantes o necesarios para la aplicación objetivo.

6. **Validación**:

- Verificar que los datos transformados cumplen con las reglas de negocio y estándares requeridos.

7. **Agrupación y agregación**:

- Resumir datos, como calcular promedios, totales, o conteos por categorías.

### Ejemplo en Python con Pandas:

Supongamos que extraemos datos de ventas de un archivo CSV y necesitamos realizar transformaciones básicas.


import pandas as pd



\# Cargar datos

data = pd.read\_csv("ventas.csv")



\# Limpieza: Eliminar duplicados

data = data.drop\_duplicates()



\# Estandarización: Convertir fechas al mismo formato

data\['fecha'] = pd.to\_datetime(data\['fecha'], format='%Y-%m-%d')



\# Enriquecimiento: Calcular total de ventas

data\['total\_ventas'] = data\['precio\_unitario'] \* data\['cantidad']



\# Filtrar: Seleccionar datos relevantes

data = data\[data\['total\_ventas'] > 1000]



print(data.head())

En este ejemplo, se realizan tareas comunes de transformación antes de cargar los datos transformados en un destino.

La transformación es crucial porque asegura que los datos sean consistentes, precisos y útiles para el análisis.

jgsilva0057

student•

Hola!. Yo tengo una estructura montada para trabajar los datos:

1.Extracción y depuración: tengo 5 sources diferentes, por lo que hice un código python para cada uno de ellos debido a lo pesado que puede llegar a ser, pues uno de esos ejecutables puede demorar hasta media hora por la cantidad de registros.

3.Transformación: Tengo un código (en desarrollo) que lo que debería hacer es tomar los DF ya depurados y relacionarlos, hacer cálculos y generar un solo DF con los ya generados anteriormente.

4.Resultado: Realizar un código que organice la información y compile mes a mes los datos.

Tengo dos preguntas:

¿Puedo crear un código MAIN que ejecute todo al tiempo? por ahora me toca ir ejecutando código a código manualmente.
¿existe alguna manera de que el código se ejecute automáticamente en horas de la madrugada para no impactar el servidor en horario de flujo normal?

Camilo Granda Gómez

student•

¿Viste ya el curso de Airflow? De seguro te es de utilidad para orquestar todos estos procesos y que se ejecuten a las horas/días que quieras. Saludos.