DAG

Contenido del curso

Introducción a Apache Airflow

Conceptos básicos

Instalación y configuración

Implementando un DAG

Orquestar y monitorizar procesos

Sensores

0:002:33

DAG

Curso de Fundamentos de Apache Airflow

Clase 5 de 29

Clase 5 / 29

Comentarios (7)7 comentarios

Royer Guerrero Pinilla

Hace 4 años

👉 Considero destacar que cada unos de los items dentro del DAG se llaman task y tienen un operador que es básicamente el tipo de tarea

✨ Los estados de nuestra tarea pueden tener los siguientes estados

✨ Los tipos de operador basicos son

SimpleHttpOperator
MySqlOperator
PostgresOperator
MsSqlOperator
OracleOperator
JdbcOperator
DockerOperator
HiveOperator
S3FileTransformOperator
PrestoToMySqlOperator
SlackAPIOperator

Mas operadores https://airflow.apache.org/docs/apache-airflow-providers/operators-and-hooks-ref/index.html

Lucas Gonzalez

Hace 4 años

DAG( Directed Acyclic Graph)

Los Workflow los Podemos realizar a través de los DAG. Viene del concepto de los grafos y debe tener 2 cualidades. En primer lugar una dirección. Todas las aristas fluyen hacia una dirección. La segunda cualidad es que no pueden tener ciclos. Una arista que sale de un nodo no puede volver a ese nodo.

Rafael Alejandro Belalcázar Burbano

Hace 4 años

Dejo por aquí la documentación oficial con la explicación de lo que es un DAG.

https://airflow.apache.org/docs/apache-airflow/stable/concepts/dags.html

Víctor Mazo

Hace 3 años

En resumen, un DAG es la representación gráfica y estructural de un workflow, o en otras palabras, es una representación de las tareas que se van a ejecutar y la forma en la que se ejecutan.

Carlos Eduardo Bracho Rosales

Hace 3 años

👀 Aqui el DAG Automatizar las pipelines: Airflow

Mario Alexander Vargas Celis

Hace 2 años

Un DAG (Directed Acyclic Graph) es un componente central en Apache Airflow que representa un flujo de trabajo. Este flujo está compuesto por tareas individuales y sus dependencias, organizadas de manera que sigan una estructura de grafo dirigido y acíclico.

Características principales de un DAG

Dirigido:
- Cada tarea en un DAG tiene una dirección específica, indicando el flujo lógico de las dependencias.
- Por ejemplo, si Task A → Task B, significa que Task B se ejecutará después de que Task A haya finalizado correctamente.
Acíclico:
- No puede haber bucles o ciclos en el flujo de trabajo.
- Esto asegura que las tareas no entren en un estado de ejecución infinita.
Configuración programática:
- Los DAGs se definen en código Python, lo que brinda flexibilidad para agregar lógica personalizada en la definición de tareas o dependencias.

Estructura de un DAG

Un DAG en Airflow se configura definiendo:

Nombre del DAG: Identificador único del flujo.
Programación (Schedule): Frecuencia con la que debe ejecutarse el flujo (diario, semanal, cada hora, etc.).
Conjunto de tareas: Tareas individuales que conforman el flujo.
Dependencias entre tareas: Relaciones que determinan el orden de ejecución.

from airflow import DAG from airflow.operators.dummy import DummyOperator from datetime import datetime

# Crear el DAG dag = DAG( 'mi_primer_dag', description='Un ejemplo básico de DAG', schedule_interval='@daily', # Se ejecutará diariamente start_date=datetime(2023, 1, 1), # Fecha de inicio del DAG catchup=False # Evita ejecutar tareas atrasadas )

# Definir las tareas inicio = DummyOperator(task_id='inicio', dag=dag) proceso = DummyOperator(task_id='proceso', dag=dag) fin = DummyOperator(task_id='fin', dag=dag)

# Definir dependencias inicio >> proceso >> fin

Elementos clave en un DAG

Tareas (Tasks):
- Componentes individuales del flujo.
- Pueden ser operadores predefinidos, como BashOperator, PythonOperator, o tareas personalizadas.
Dependencias:
- Se especifican usando >> (dependencia directa) o << (dependencia inversa).
- Ejemplo:tarea1 >> [tarea2, tarea3]
Programación (Schedule):
- Define cuándo se debe ejecutar el DAG.
- Puede ser con expresiones cron (0 12 * * *) o intervalos predefinidos como @daily, @hourly.
Fecha de inicio y fin:
- El start_date marca cuándo comienza el DAG.
- Opcionalmente, un end_date puede limitar su ejecución.
Propiedades adicionales:
- Retries: Número de intentos en caso de fallo.
- Timeout: Límite de tiempo para ejecutar las tareas.
- Catchup: Permite ejecutar tareas atrasadas si el DAG se activa después de la fecha de inicio.

Ventajas de los DAGs

Visualización clara:
- Airflow proporciona una interfaz gráfica para observar la estructura del DAG y el estado de las tareas.
Escalabilidad:
- Los DAGs permiten manejar flujos complejos con dependencias múltiples.
Reutilización:
- Los DAGs definidos en código son fáciles de modificar, mantener y reutilizar.

Usos comunes de los DAGs

Pipelines de ETL/ELT:
- Extracción, transformación y carga de datos de sistemas fuente a un Data Warehouse o Data Lake.
Procesos de Machine Learning:
- Automatización de entrenamientos, evaluaciones y despliegues de modelos.
Reportes automatizados:
- Generación y envío de reportes periódicos.
Integraciones de sistemas:
- Orquestar sincronización de datos entre APIs o bases de datos.

En resumen, un DAG es el núcleo de cualquier flujo de trabajo en Apache Airflow, proporcionando una estructura programable, visualizable y altamente escalable para ejecutar tareas dependientes.

Santiago Andres Gelvez Camargo

Hace 5 meses

En definitiva, la gran mayoría de job posts para Data Engineering que me he encontrado mencionan DAG de alguna forma. Y es que la herramienta resume mucho del trabajo que se hace en este rol y DAG brinda esa facilidad de asegurar que las cosas no se rompan porque si.

Introducción a Apache Airflow

Introducción al curso

¿Para qué sirve airflow?

¿Por qué usar airflow?

Resumen módulo 1

Conceptos básicos

DAG

Tasks y Operators

Scheduler

Instalación y configuración

Instalación de Apache Airflow usando Docker

Posibles configuraciones

Variables y conexiones

Implementando un DAG

Implementando un DAG

Bash Operator

Python Operator

Definiendo dependencias entre tareas

Custom Operator

Orquestar y monitorizar procesos

Orquestando un DAG I

Orquestando un DAG II

Monitoring

Task Actions

Trigger Rules

Sensores

¿Qué son los sensores?

ExternalTaskSensor

FileSensor

Templates con Jinja

¿Qué son los templates con Jinja?

XComs

¿Qué son los Xcoms?

BranchPythonOperator

BranchPythonOperator

Proyecto

Definición del proyecto

Cierre del curso

Cierre del curso

Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate

DAG