Aunque no lo parezca, esta es una de las clases más importantes. De nada sirve saber como construir Operators
y orquestar DAG
's si cuando algo falla no lo sabemos solventar ~
Introducción a Apache Airflow
Introducción al curso
¿Para qué sirve airflow?
¿Por qué usar airflow?
Resumen módulo 1
Conceptos básicos
DAG
Tasks y Operators
Scheduler
Instalación y configuración
Instalación de Apache Airflow usando Docker
Posibles configuraciones
Variables y conexiones
Implementando un DAG
Implementando un DAG
Bash Operator
Python Operator
Definiendo dependencias entre tareas
Custom Operator
Orquestar y monitorizar procesos
Orquestando un DAG I
Orquestando un DAG II
Monitoring
Task Actions
Trigger Rules
Sensores
¿Qué son los sensores?
ExternalTaskSensor
FileSensor
Templates con Jinja
¿Qué son los templates con Jinja?
XComs
¿Qué son los Xcoms?
BranchPythonOperator
BranchPythonOperator
Proyecto
Definición del proyecto
Cierre del curso
Cierre del curso
Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Aportes 2
Preguntas 1
Aunque no lo parezca, esta es una de las clases más importantes. De nada sirve saber como construir Operators
y orquestar DAG
's si cuando algo falla no lo sabemos solventar ~
from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator
from datetime import datetime
def myfunction():
pass
with DAG(dag_id="6.1-monitoring",
description="Monitoreando nuestro DAG",
schedule_interval="@daily",
start_date=datetime(2022, 1, 1),
end_date=datetime(2022, 2, 1)) as dag:
t1 = BashOperator(task_id="tarea1",
bash_command="sleep 2 && echo 'Primera tarea!'")
t2 = BashOperator(task_id="tarea2",
bash_command="sleep 2 && echo 'Segunda tarea!'")
t3 = BashOperator(task_id="tarea3",
bash_command="sleep 2 && echo 'Tercera tarea!'")
t4 = PythonOperator(task_id="tarea4",
python_callable=myfunction)
t5 = BashOperator(task_id="tarea5",
bash_command="sleep 2 && echo 'Quinta tarea!'")
t1 >> t2 >> t3 >> t4 >> t5
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?
o inicia sesión.