Consideraciones clave antes de implementar ETL

Curso de Fundamentos de ETL con Python y Pentaho

Contenido del curso

Introducción a ETL

Extracción de datos

Transformación de datos

Carga de datos

ETL con Pentaho

Conclusión

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:004:19

Consideraciones clave antes de implementar ETL

Curso de Fundamentos de ETL con Python y Pentaho

Clase 3 de 25

Clase 3 / 25

Recursos

Antes de mover un solo dato, conviene detenerte a pensar en las decisiones que rodean un proceso ETL. Aquí vas a entender qué considerar sobre calidad, fuentes, periodicidad y documentación para que tu pipeline funcione bien desde el inicio, sea que trabajes en analítica, business intelligence o machine learning.

¿Qué papel juega la calidad de los datos en un ETL?

La calidad de los datos define si tu ETL realmente sirve. Antes de empezar, pregúntate qué transformaciones necesitas, por qué las haces y en qué punto tus datos quedan listos para ser consultados por un analista, un modelo de business intelligence o un algoritmo de machine learning.

Ese estado óptimo no aparece por accidente. Lo defines tú, mapeando qué tan limpios, completos y consistentes deben estar los datos al final del recorrido.

¿Qué es la calidad de datos en un ETL? Es el nivel de limpieza, consistencia y utilidad de los datos para que puedan ser consumidos por modelos analíticos o de IA sin generar errores.

¿Cómo definir el source y el target de tu ETL?

Tener claridad sobre el origen (source) y el destino (target) es lo que te permite elegir bien la tecnología.

Si conoces la estructura de tus fuentes, puedes decidir:

Qué drivers usar para conectarte.
Qué librerías aplicar si vas a construir algo custom.
Cómo normalizar los datos antes de cargarlos.
Si trabajarás con datos estructurados o no estructurados.

Y si tienes claro cómo deben quedar al final, sabes qué transformaciones aplicar en el camino. Esa doble visión, de dónde vienen y a dónde van, te ahorra muchísimos dolores de cabeza después.

¿ETL en batch o en streaming, cuál elegir?

La periodicidad de carga es otra decisión central, y depende de qué tan fresca necesitas la información.

¿Cuándo conviene un proceso en batch?

Un proceso batch se ejecuta cada cierto lapso de tiempo. Piensa en una ETL que actualiza el precio del dólar al cierre del día: no necesitas datos segundo a segundo, basta con saber cómo cerró la moneda. Esa tarea corre una vez al día y listo.

¿Cuándo necesitas streaming?

El streaming funciona en near real time, con menos de un segundo de diferencia. Es lo que usa, por ejemplo, la industria petrolera, donde sensores recolectan datos constantemente y no puedes detener el análisis ni un segundo. Si tu negocio depende de reaccionar al instante, esta es la vía.

¿Cuál es la diferencia entre batch y streaming en un ETL? Batch procesa datos por lotes en intervalos definidos. Streaming los procesa de forma continua, casi en tiempo real.

¿Cuándo usar ETL incremental o full?

Aquí también hay dos caminos, y la respuesta depende de qué tanto cambian tus datos.

Un ETL full o total carga desde cero todos los recursos cada vez que se ejecuta. Sirve cuando los datos del source casi no cambian, así que reprocesar todo no te cuesta mucho.

Un ETL incremental, en cambio, solo trae lo nuevo. Es típico en bases de datos transaccionales: cada hora, por ejemplo, llevas únicamente los registros que entraron en esa hora. Para hacerlo, te apoyas en un campo como la fecha de la transacción y filtras todo lo que sea mayor a la última fecha cargada en tu target.

Algunas señales para decidir:

Datos que casi no cambian → ETL full.
Tablas transaccionales con alto volumen → ETL incremental.
Necesitas histórico completo y limpio cada vez → ETL full.
Quieres ahorrar recursos y tiempo de procesamiento → ETL incremental.

Después de elegir, asegúrate de que tu lógica de filtrado funcione bien, porque un mal incremental puede dejarte huecos en la información.

¿Por qué documentar tu proceso ETL es innegociable?

La documentación suele subestimarse, y ese es justo el problema.

Un ETL puede ser muy sencillo o volverse extremadamente complejo: múltiples sources, varios niveles de transformación, estandarización y hasta más de un target. Sin documentación, cualquier ingeniero de datos que llegue después, o tú mismo en seis meses, va a sufrir para entender qué hace cada paso y dónde tocar si algo falla.

Documenta siempre, por más simple que parezca el flujo. Tu yo del futuro te lo va a agradecer.

¿Qué tipo de ETL estás implementando ahora mismo, batch o streaming? Cuéntamelo en los comentarios.

Mario Alexander Vargas Celis

Hace 2 años

### **Consideraciones Clave en un Proceso ETL** El éxito de un proyecto ETL (Extract, Transform, Load) depende de la planificación cuidadosa, la comprensión de las necesidades del negocio y la calidad de la ejecución. Aquí tienes las principales consideraciones al implementar un proceso ETL: ### **1. Comprensión de los Requisitos**- **Objetivos del negocio:** Define claramente qué se espera lograr con el proceso ETL (reportes, análisis, monitoreo, etc.).- **Volumen de datos:** Considera la cantidad de datos a procesar y su frecuencia (diaria, semanal, en tiempo real).- **Fuente de datos:** Identifica todas las fuentes de datos (bases de datos relacionales, APIs, archivos CSV, etc.) y su formato. ### **2. Calidad de los Datos**- **Integridad de datos:** Verifica que los datos de las fuentes sean completos y precisos.- **Consistencia:** Asegúrate de que los datos tengan un formato estándar (por ejemplo, fechas y monedas).- **Manejo de datos erróneos:** Implementa estrategias para tratar datos faltantes, duplicados o corruptos. ### **3. Escalabilidad**- **Crecimiento futuro:** Diseña el sistema para manejar un incremento en el volumen y variedad de datos.- **Escalabilidad horizontal:** Utiliza herramientas capaces de procesar datos en paralelo para mantener el rendimiento. ### **4. Rendimiento**- **Tiempo de procesamiento:** Minimiza el tiempo necesario para extraer, transformar y cargar datos, especialmente para procesos críticos.- **Optimización de consultas:** Utiliza índices y otras técnicas para acelerar las operaciones en bases de datos. ### **5. Seguridad**- **Encriptación:** Protege los datos sensibles durante la transferencia (en tránsito) y el almacenamiento (en reposo).- **Control de acceso:** Implementa políticas de seguridad para limitar quién puede acceder a los datos y realizar cambios.- **Regulaciones:** Cumple con normativas como GDPR, HIPAA o CCPA, según sea necesario. ### **6. Mantenimiento**- **Monitoreo:** Configura alertas para detectar fallos en tiempo real.- **Registro de errores:** Implementa un sistema de logging para rastrear problemas en el flujo de datos.- **Actualizaciones:** Asegúrate de que las herramientas ETL puedan actualizarse sin interrupciones significativas. ### **7. Herramientas y Tecnología**- **Elección de herramientas:** Decide entre herramientas comerciales (Informatica, Talend) o plataformas en la nube (AWS Glue, Google Dataflow).- **Compatibilidad:** Asegúrate de que la herramienta seleccionada pueda conectarse a todas las fuentes de datos necesarias. ### **8. Transformaciones de Datos**- **Complejidad:** Evalúa qué tan complejas son las transformaciones necesarias (filtros, agregaciones, cambios de formato).- **Flexibilidad:** Diseña transformaciones modulares y reutilizables.- **Pruebas:** Verifica que las transformaciones produzcan resultados correctos antes de cargarlas en el destino. ### **9. Procesos de Carga**- **Tipo de carga:** Define si será completa o incremental (solo datos nuevos o modificados).- **Manejo de fallos:** Implementa mecanismos para reiniciar cargas fallidas sin duplicar datos.- **Orden de carga:** Asegúrate de que las dependencias entre tablas se respeten. ### **10. Documentación**- **Mapeo de datos:** Documenta cómo se transforman los datos desde las fuentes hasta el destino.- **Guías operativas:** Proporciona instrucciones claras para administrar y solucionar problemas del flujo ETL.- **Versionado:** Registra cambios en el diseño del flujo para facilitar auditorías y mantenimiento. ### **11. Consideraciones Adicionales**- **ETL vs. ELT:** Evalúa si un enfoque ELT podría ser más adecuado para el caso de uso específico.- **Costos:** Considera los costos de licencias, infraestructura y mantenimiento de las herramientas ETL.- **Pruebas:** Realiza pruebas exhaustivas antes de implementar en producción. Al abordar cada una de estas áreas, puedes garantizar que el proceso ETL sea robusto, eficiente y alineado con las necesidades del negocio.

Comentarios (13)13 comentarios

Bryan Carvajal

Hace 4 años

Consideraciones de ETL

Debo asegurar la calidad de los datos
Tener claro las fuentes y los objetivos
Definir si mi ETL sera en Batch (cada 20 min) o Streaming (en menos de 1 seg)
Definir si mi ETL sera incremental o total
La documentación

angela patricia zaldua cuartas

gracias por tu resumen

Juan Camilo Ortiz Correa

10/10 me gusta el curso

Luis Falconí

Hace 3 años

Definir si mi ETL sera en Batch (cada 20 min) o Streaming (en menos de 1 seg)

El término "batch" y "streaming" se refiere a la forma en que se manejan y procesan los datos durante las etapas de transformación y carga.

Proceso en Batch: Los datos se procesan en lotes o conjuntos predefinidos en intervalos regulares de tiempo. Esto implica que los datos se extraen de las fuentes, se transforman y se cargan en el destino en grupos o lotes completos.

Características clave del procesamiento en batch:

Los datos se procesan y transforman en función de un horario programado o en intervalos de tiempo específicos (p. ej., diariamente, cada hora, cada noche).
Los datos se almacenan y se procesan en memoria o en disco antes de aplicar las transformaciones y cargarlos en el destino.
Los datos se cargan en el destino una vez que se ha completado todo el procesamiento y transformación del lote actual.
Ejemplos: Analisis historicois de venta, Analisis Financieros

El procesamiento en batch es útil cuando se necesita procesar grandes volúmenes de datos, realizar transformaciones complejas que requieren el procesamiento conjunto de los datos o cuando los requisitos de tiempo real no son estrictos.

Proceso en Streaming: En contraste con el procesamiento en batch, el procesamiento en streaming implica el procesamiento continuo y en tiempo real de los datos a medida que se generan o llegan. Los datos se procesan y se cargan de manera incremental y continua a medida que fluyen en el sistema.

Los datos se procesan y transforman a medida que se generan o llegan, generalmente en pequeñas unidades o eventos individuales.
Las transformaciones y los cálculos se aplican a los datos a medida que se reciben, lo que permite obtener resultados y actualizaciones en tiempo real.
Los datos se cargan o transmiten continuamente en el destino a medida que se procesan.
Ejemplos: Detección de fraudes en tiempo real, Análisis de redes sociales en tiempo real

El procesamiento en streaming es útil cuando se requiere tomar decisiones o actuar de manera casi instantánea sobre los datos, como en aplicaciones de monitoreo en tiempo real, análisis de datos en tiempo real o detección de anomalías.

Jonathan Barzola

Buen resumen!

Federico Ackerley

En argentina tenes que usar el Streaming para saber la cotizacion actualizada del dolar 🫠

martin chavez

que significa exactamente:

"Calidad de los datos: cual es el estado mas optimo o de mayor calidad dee los datos."

alguien tiene una definicion clara? tiene que ver con el formato el tamaño en mgs? o como es esto?

Juan Carlos Chambi Suaña

Hasta ahora un curso genial :D

Luis Jacobo Hernandez Campuzano

CONSIDERACIONES DE ETL

Calidad de los datos: cual es el estado mas optimo o de mayor calidad dee los datos.
Tener en cuenta las fuentes y los objetivos: source y target
Definir si mi ETL será en Batch (tarea recurrente de acuerdo a un lapso de tiempo o un delta, ejemplo cada 20 min) o Streaming (real time o con menos de 1 segundo)
Definir si mi ETL será incremental o total: cada vez que se ejecute la etl voy a cargar desde cero todos los recursos transformarlos y cargarlos al punto de destino; incremental, es como se suele utilizar en bdds trasaccionales, ejemplo: cada hora voy a llevarme todos los datos que pasaron esa hora, cada que corra la etl solo va a procesar los datos nuevos.
Documentar / documentación

santiago suarez rojas

Muy buen curso la administración y gestión de los datos es muy clara.

Andres Sanchez

3. Consideraciones de ETL

Calidad de los datos
Sources & Target
Batch; procesamiento en lote - 20 min o Streaming; Menos de 1 seg
Incremental o total
Documentar

Elkin David Jaramillo Flórez

Super bueno el curso, hasta ahora estoy super satisfecho no me imagino la practica.

keila martinez

a que hace referencia el target

Franco Torres

Algunas consideraciones sobre ETL son:

La calidad de los datos: a mayor calidad de los datos, más preguntas se podrán responder.
De dónde los extraigo (sources) y dónde los cargo (targets).
El tipo de procesamiento puede ser en tiempo real (real-time, streaming) o por lotes (batch).
La carga: no es lo mismo si cambian todos los datos o si solo se agregan o cambian algunos. Es una carga total si se parte de cero; de lo contrario, es una carga incremental. Por ejemplo, cada cierto tiempo, se cargan nuevos datos extraídos en un plazo determinado. Esto es común en algunas bases de transacciones.
La documentación: si quieres cambiar algo o realizar alguna mejora, tienes que saber qué hay detrás del ETL.

José Andrés Choc Alvarado

Todos los conceptos están bastante claros. Excelente curso.

Introducción a ETL

¿Qué es un ETL en ingeniería de datos?

Conceptos clave de ETL: source, target y staging

Consideraciones clave antes de implementar ETL

Herramientas ETL: Pentaho, Pandas y más

Extracción de datos

Consideraciones clave al extraer datos en ETL

Configuración de base de datos source y entorno para ETL en Python

Extracción ETL con Pandas desde Postgres

Transformación de datos

Consideraciones clave antes de transformar datos ETL

Limpieza de códigos de productos con Pandas

Merge de países y productos con pandas

Cómo convertir un DataFrame en tabla de hechos

Carga de datos

Consideraciones clave antes de cargar a Redshift

Configuración de clúster en AWS Redshift

Crear tablas en AWS Redshift

Carga de CSV a Redshift con COPY

Estructurar sentence para carga de datos de S3 a Redshift

Carga masiva de CSVs a Redshift con Python

ETL con Pentaho

Instalación de Pentaho

Extracción de datos con Pentaho desde cero

Transformación de códigos con Pentaho

Transformaciones ETL en Pentaho sin código

Merge y lookup en Pentaho para tabla de hechos

Carga de datos ETL con Pentaho a Redshift

Conclusión

Apache Airflow como siguiente paso en ETL

Comparte tu proyecto de ETL y obtén tu certificado

Consideraciones clave antes de implementar ETL