Orquestar ETL en Pentaho: job

Curso de Data Warehousing y Modelado OLAP

Contenido del curso

No sé dónde empezar

Introducción a BI y Data Warehouse

Modelos dimensionales

ETL para inserción en Data Warehouse

Cierre

26
De datos crudos a modelo dimensional listo
01:18 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0024:27

Orquestar ETL en Pentaho: job

Curso de Data Warehousing y Modelado OLAP

Clase 24 de 26

Clase 24 / 26

Recursos

¿Cómo se orquesta el flujo de ETL usando variables en Pentaho?

La gestión efectiva del flujo de ETL (Extracción, Transformación, Carga) en Pentaho implica orquestar varias transformaciones y asignar variables que optimicen el proceso. Esta metodología se centra en calcular y utilizar el ID máximo y la fecha máxima de las tablas dimensionales, asegurando que las nuevas cargas de datos usen estos como puntos de inicio. Veamos cómo se organiza este flujo para mejorar la eficiencia de nuestros procesos de datos.

¿Qué pasos se siguen para configurar las transformaciones?

Configurar las transformaciones en Pentaho requiere asignar y calcular variables, además de crear pasos dummy para ejecutar procesos paralelos. A continuación, se detalla cómo se realiza esta configuración:

Transformación especial: Se calcula el máximo consecutivo (ID) y la fecha máxima. Esto establece dos variables: una para el ID máximo que sirve para las nuevas entradas y otra para la fecha máxima que permite determinar desde cuándo se deben extraer nuevos datos.
Configuración del job: Se inicia creando un job que asigna estas variables y las envía como parámetros a las transformaciones pertinentes. Posteriormente, se utiliza un paso dummy para ejecutar etapas en paralelo, cargando todas las dimensiones que no dependen una de otra simultáneamente.
Ejecución específica de transformaciones: Por ejemplo, en la transformación de clientes, se inicia verificando el archivo de transformación (trnClientes.ktr) y luego se realiza un copy de S3 a la base de datos en Redshift. La robustez y eficiencia de Redshift se aprovechan aquí, especialmente para grandes cantidades de registros.

¿Cómo se gestionan las variables en el flujo de trabajo?

El manejo de variables es crucial para asegurar que las transformaciones utilicen los parámetros correctos:

Asignación inicial de variables: Se inicializan variables críticas como el consecutivo, tabla, y campo pivot. Estas variables ayudan a determinar el ID y la fecha que controlarán la carga de clientes.
Transformaciones de secuencia y asignación de variables: Por ejemplo, al centrar la carga en ID cliente y la fecha de actualización, se garantiza que las transformaciones posteriores ajusten estos valores, evitando la sobrescritura o errores en registros nuevos.

¿Cómo se asegura una carga eficiente de las dimensiones y tablas de hechos?

Mantener la eficiencia en la carga de datos implica:

Control del tiempo de espera entre ejecuciones: Para evitar problemas de concurrencia debido a transformaciones compartidas, se aplica un corto tiempo de espera (por ejemplo, cinco segundos) entre la ejecución de diferentes dimensiones.
Verificación y validación: Antes de ejecutar un job, se revisa que todos los parámetros y rutas estén correctos. Los campos como maxClienteId deben estar bien definidos y probados con datos previos para asegurar su correcto funcionamiento.
Uso de flujos paralelos: Las transformaciones como la de tiempo, que no dependen de otras, pueden cargarse directamente sin tiempos de espera adicionales, garantizando agilidad en el proceso.

¿Qué errores comunes pueden surgir y cómo se corrigen?

Error en la asignación de IDs: Puede ocurrir que todos los IDs se carguen incorrectamente. En esos casos, revisar y asegurar que el valor correcto (como maxClienteId) se sitúe en la suma de valor más uno.
Configuraciones incorrectas de parámetros: Verificar que las transformaciones tengan el estado correcto (con variables marcadas como necesarias). Cambiar las configuraciones a timestamp cuando apsique.

Estos pasos optimizan el flujo ETL, garantizando que los datos cargados sean precisos y completos. Recuerda siempre validar en tu base de datos el resultado de tus operaciones para asegurar la integridad del proceso ETL. La carga secuencial y paralela en Pentaho requiere atención a detalles logísticos y técnicos que aseguran que cada ejecución sea eficiente y precisa. Continúa explorando estas técnicas y aplica lo aprendido en tus retos de carga de datos para maximizar tu dominio sobre Pentaho.

Mario Alexander Vargas Celis

Hace 2 años

Orquestar un ETL en Pentaho usando un job implica estructurar los pasos necesarios para ejecutar transformaciones, manejar flujos condicionales, y realizar tareas como mover archivos, enviar correos, o cargar datos. Aquí tienes una guía práctica para crear un job en Pentaho Data Integration (PDI):

Pasos para crear un job en Pentaho

1. Crear un nuevo Job

Abre Spoon.
Ve a File > New > Job.
Se abrirá un lienzo en blanco específico para un job.

2. Definir los elementos básicos del job

Un job puede incluir los siguientes elementos:

Start: El paso inicial que activa el flujo del job.
Transformations: Los ETL propiamente dichos (cargar, transformar, o exportar datos).
Tareas adicionales:
- Mover o copiar archivos.
- Ejecutar comandos de shell.
- Conectar con servicios externos como bases de datos, FTP, o APIs.
- Condiciones para decidir qué pasos ejecutar basándose en resultados previos.

3. Configurar el paso inicial

Arrastra el icono de Start desde la paleta a tu lienzo.
Conéctalo al siguiente paso que quieras ejecutar.

4. Agregar transformaciones

Añadir transformaciones al job:
- Arrastra el objeto Transformation desde la paleta al lienzo.
- Haz doble clic en el objeto y selecciona la transformación (.ktr) que deseas ejecutar.
Pasar parámetros entre job y transformación:
- Ve a la pestaña Parameters al configurar la transformación.
- Define los parámetros necesarios (como nombres de tablas o rutas de archivos).
- Vincúlalos con valores desde el job.

5. Añadir pasos de control

Decisiones condicionales:
- Usa el paso Evaluate rows number in a table para verificar condiciones en la base de datos.
- Usa Check if a file exists para validar la existencia de archivos antes de procesarlos.
Manejo de errores:
- Configura conexiones condicionales desde un paso hacia otro en caso de éxito o fallo.
- Utiliza el paso Abort job para detener la ejecución si ocurre un error.

6. Trabajar con sistemas externos

Mover archivos:
- Usa el paso Copy Files para mover o copiar archivos entre directorios.
- Configura las rutas de origen y destino.
Ejecutar comandos:
- Usa Shell para ejecutar scripts o comandos de sistemas operativos.
Enviar correos electrónicos:
- Usa Mail para notificar al equipo de resultados o errores.
- Configura el servidor SMTP y los detalles del correo.

7. Configurar el flujo del job

Conecta los pasos arrastrando líneas entre ellos.
Configura las condiciones de flujo:
- Éxito: Ejecuta el siguiente paso solo si el actual tuvo éxito.
- Error: Redirige el flujo en caso de fallo.
Define condiciones usando los conectores:
- Haz clic derecho en una línea de conexión y selecciona una opción (éxito, error, o ambos).

8. Probar y depurar el job

Ejecuta el job desde Spoon:
- Haz clic en el botón de Run.
- Configura cualquier parámetro necesario.
Observa la consola de logs para identificar problemas.
Usa opciones como Breakpoints y Step Metrics para depuración detallada.

9. Guardar y documentar

Guarda el job con la extensión .kjb.
Añade comentarios y documentación en los pasos para que el flujo sea comprensible.

10. Implementar en un servidor de ejecución

Si deseas orquestar y ejecutar este job automáticamente:

Usa el cliente Kitchen para ejecutar el job desde línea de comandos.
Agrega el comando a un cron job o tarea programada para ejecución periódica.

Ejemplo de comando para ejecutar un job:

kitchen.sh -file=/ruta/del/job.kjb -level=Basic -param:PARAM1=valor1 -param:PARAM2=valor2

Introducción a BI y Data Warehouse

Qué es Business Intelligence y Data Warehousing

Niveles de analítica y jerarquía de datos

Qué son data warehouse, data mart y dimensiones

OLTP vs OLAP: diferencias clave

Inmon, Kimball y Hefesto en BI

Modelos dimensionales

Data Warehouse, Data Lake y Lakehouse

Modelo estrella vs copo de nieve en datos

Tipos de dimensiones lentamente cambiantes

Dimensión tipo 1: sobrescribir sin guardar historia

Dimensión tipo 2

Dimensión tipo 3: historia en columnas

Tabla de hechos (fact)

Configuración de herramientas para Data Warehouse y ETL

Cómo extraer dimensiones de preguntas de negocio

Diseño de tablas en un modelo dimensional

ETL para inserción en Data Warehouse

Documento de mapeo en ETL para data warehouse

Creando tablas dimensionales en Redshift

Extracción: querys en SQL

Cruce de fuentes en Pentaho con Stream Lookup

Transformación ETL con Pentaho paso a paso

Carga de datos transformados a Redshift con Pentaho

Cómo cargar la tabla de hechos con Pentaho

Cómo calcular MaxID y MaxDate en Pentaho

Orquestar ETL en Pentaho: job

Solución ETL con dimensiones en paralelo en Redshift

Cierre

De datos crudos a modelo dimensional listo

Orquestar ETL en Pentaho: job

Progreso del curso

Introducción a BI y Data Warehouse

Modelos dimensionales

ETL para inserción en Data Warehouse

Cierre

Recursos

Recursos