¿Qué son los templates con Jinja?

Clase 24 de 29 • Curso de Fundamentos de Apache Airflow

Mauro Ezequiel Bravo

student•

from datetime import datetime
from airflow import DAG
from airflow.operators.bash import BashOperator


templated_command = """
{% for file in params.filenames %}
    echo "{{ ds }}"
	echo "{{ file }}"
{% endfor %}
"""


with DAG(dag_id="8-templating",
    description="Example using templates",
    schedule_interval="@daily",
    start_date=datetime(2022, 8, 10),
    end_date=datetime(2022, 8, 25),
    max_active_runs=1
) as dag:

    t1 = BashOperator(task_id="tarea_1",
					  bash_command=templated_command,
					  params={"filenames": ["file1.txt", "file2.txt"]},
					  depends_on_past=True)

    t1

Nicolás Muriel

student•

Wow, primera vez que mencionan dbt en platzi !

Recomendada para todos, es muy intuitiva, sobre todo si tenemos buenas bases en SQL.

Analytics Engineering tomando fuerza en el Modern Data Stack

Eric Bellet

teacher•

Sí, posiblemente hagamos un curso pronto de DBT

Royer Guerrero Pinilla

student•

📁 Este la herramienta que recomienda el profe al final de la clase https://docs.getdbt.com/docs/build/jinja-macros

Alfonso Andres Zapata Guzman

student•

Me alegra no ser el unico que lo busco, me aparecio la misma pagina de primera opcion en google.

~ Que tal Platzinauta, ya conectamos en LinkedIn? ~

¡Que estas esperando! Conectemos en LinkedIn, GitHub, Medium o Redes sociales

Carlos Eduardo Bracho Rosales

student•

Un curso de DBT 🙏 please!!!

Eric Bellet

teacher•

2024 seguro!

Mario Alexander Vargas Celis

student•

Los templates con Jinja son un mecanismo que permite generar contenido dinámico en aplicaciones y scripts utilizando el motor de plantillas Jinja2. Jinja2 es un motor de plantillas para Python ampliamente utilizado en herramientas como Flask, Django, y también en frameworks como Apache Airflow para crear configuraciones y comandos dinámicos.

Conceptos básicos

Un template es un archivo (generalmente texto o HTML) con marcadores de posición que pueden ser reemplazados dinámicamente por valores. Jinja2 permite utilizar variables, control de flujo (bucles y condicionales), y filtros para construir plantillas complejas.

Sintaxis básica

**Variables:**Hola, {{ nombre }}! Esto reemplazará {{ nombre }} con el valor de la variable nombre.
Control de flujo:
- Condicionales:{% if usuario %} Hola, {{ usuario }}! {% else %} Hola, invitado! {% endif %}
- Bucles:{% for item in lista %} {{ item }} {% endfor %}
Filtros: Los filtros transforman datos, por ejemplo:{{ texto | upper }} # Convierte el texto a mayúsculas

Uso de Jinja en Apache Airflow

En Airflow, Jinja es crucial para construir comandos dinámicos en operadores como BashOperator, PythonOperator, o incluso configuraciones en tareas y sensores.

Ejemplo básico

Generar un archivo con un nombre dinámico basado en la fecha de ejecución:

from airflow import DAG from airflow.operators.bash import BashOperator from datetime import datetime

with DAG(dag_id="example_jinja", start_date=datetime(2024, 1, 1), schedule_interval="@daily", catchup=False) as dag:

t1 = BashOperator( task_id="create_file", bash_command="echo 'Archivo generado el {{ ds }}' > /tmp/archivo_{{ ds_nodash }}.txt" )

{{ ds }}: Representa la fecha de ejecución (por ejemplo, 2024-01-01).
{{ ds_nodash }}: Fecha sin guiones (20240101), útil para nombres de archivos.

Plantillas personalizadas

Puedes incluir variables adicionales en tus plantillas utilizando el argumento params:

t1 = BashOperator( task_id="custom_file", bash_command="echo 'Hola, {{ params.nombre }}!' > /tmp/saludo.txt", params={"nombre": "Mario"} )

Plantillas en otros contextos

HTML en aplicaciones web

Jinja es muy usado en frameworks como Flask o Django para generar contenido HTML dinámico.

<!DOCTYPE html> <html> <head> <title>Bienvenido</title> </head> <body> <h2>Hola, {{ usuario }}!</h2> <p>Hoy es {{ fecha | date('d/m/Y') }}.</p> </body> </html>

Configuraciones dinámicas

Jinja puede utilizarse en scripts de configuración, como YAML o JSON, para ajustar valores dinámicamente.

app_name: "{{ name }}" version: "{{ version }}"

Filtros útiles en Jinja

upper: Convierte a mayúsculas.
lower: Convierte a minúsculas.
replace: Reemplaza texto.{{ texto | replace('a', 'o') }}
default: Establece un valor predeterminado.{{ variable | default('valor por defecto') }}

Ventajas de Jinja

Flexibilidad: Permite generar contenido dinámico.
Separación de lógica y presentación: Útil para aplicaciones web.
Facilidad de uso: Sintaxis simple y potente.

Federico Martinez

student•

¿Qué problemas resuelve Jinja en Airflow?

Jinja resuelve el problema de la rigidez en los DAGs, permitiendo que las tareas se adapten a diferentes contextos o datos sin modificar el código. Esto facilita la reutilización de código y la creación de pipelines más genéricos. Ayuda a gestionar la información cambiante de un flujo de manera eficiente.

Federico Martinez

student•

¿Cómo dinamizar tareas con Jinja?

Jinja permite insertar valores dinámicos en los parámetros de tus operadores, como fechas de ejecución o IDs de tareas, justo antes de que la tarea se ejecute. Esto evita la necesidad de "hardcodear" valores y hace que tus DAGs sean mucho más flexibles y reusables. Utiliza variables como {{ ds }} para acceder a la fecha de ejecución.

Erick Rea Reasco

student•

Como hago para guardar variables en Airflow de forma segura? por ejemplo tokens o API keys?

Eric Bellet

teacher•

Algún servicio de secret manager puede ser una solución, por ejemplo AWS Secrets

Eric Bellet

teacher•

Secrets, en mi caso yo suelo usar Amazon Secrets

from datetime import datetime
from airflow import DAG
from airflow.operators.bash import BashOperator


templated_command = """
{% for file in params.filenames %}
    echo "{{ ds }}"
	echo "{{ file }}"
{% endfor %}
"""


with DAG(dag_id="8-templating",
    description="Example using templates",
    schedule_interval="@daily",
    start_date=datetime(2022, 8, 10),
    end_date=datetime(2022, 8, 25),
    max_active_runs=1
) as dag:

    t1 = BashOperator(task_id="tarea_1",
					  bash_command=templated_command,
					  params={"filenames": ["file1.txt", "file2.txt"]},
					  depends_on_past=True)

    t1

¿Qué son los templates con Jinja?

Introducción a Apache Airflow

Introducción al curso

¿Para qué sirve airflow?

¿Por qué usar airflow?

Resumen módulo 1

Conceptos básicos

DAG

Tasks y Operators

Scheduler

Instalación y configuración

Instalación de Apache Airflow usando Docker

Posibles configuraciones

Variables y conexiones

Implementando un DAG

Implementando un DAG

Bash Operator

Python Operator

Definiendo dependencias entre tareas

Custom Operator

Orquestar y monitorizar procesos

Orquestando un DAG I

Orquestando un DAG II

Monitoring

Task Actions

Trigger Rules

Sensores

¿Qué son los sensores?

ExternalTaskSensor

FileSensor

Templates con Jinja

¿Qué son los templates con Jinja?

XComs

¿Qué son los Xcoms?

BranchPythonOperator

BranchPythonOperator

Proyecto

Definición del proyecto

Cierre del curso

Cierre del curso

Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate