Un caso común para el estatus ‘queued’, cuando deberia estar ejecutando, es cuando hay errores de sintaxis en el código del dag, hay que revisar, corregirlos y cuando lea de nuevo, el dag arranca automaticamente.
Introducción a Apache Airflow
Introducción al curso
¿Para qué sirve airflow?
¿Por qué usar airflow?
Resumen módulo 1
Conceptos básicos
DAG
Tasks y Operators
Scheduler
Instalación y configuración
Instalación de Apache Airflow usando Docker
Posibles configuraciones
Variables y conexiones
Implementando un DAG
Implementando un DAG
Bash Operator
Python Operator
Definiendo dependencias entre tareas
Custom Operator
Orquestar y monitorizar procesos
Orquestando un DAG I
Orquestando un DAG II
Monitoring
Task Actions
Trigger Rules
Sensores
¿Qué son los sensores?
ExternalTaskSensor
FileSensor
Templates con Jinja
¿Qué son los templates con Jinja?
XComs
¿Qué son los Xcoms?
BranchPythonOperator
BranchPythonOperator
Proyecto
Definición del proyecto
Cierre del curso
Cierre del curso
Comparte tu proyecto de Platzi explora el espacio con Airflow y certifÃcate
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Eric Bellet
Aportes 6
Preguntas 2
Un caso común para el estatus ‘queued’, cuando deberia estar ejecutando, es cuando hay errores de sintaxis en el código del dag, hay que revisar, corregirlos y cuando lea de nuevo, el dag arranca automaticamente.
Los estados posibles para una instancia de tarea son:
none: la tarea aún no se ha puesto en cola para su ejecución (todavÃa no se cumplen sus dependencias)
scheduled: el programador ha determinado que se cumplen las dependencias de la tarea y deberÃa ejecutarse
queued: La tarea ha sido asignada a un Ejecutor y está esperando un trabajador
running: La tarea se ejecuta en un trabajador (o en un ejecutor local/sÃncrono)
success: La tarea terminó de ejecutarse sin errores
shutdown: Se solicitó externamente que la tarea se cerrara cuando se estaba ejecutando
restarting: Se solicitó externamente que la tarea se reiniciara cuando se estaba ejecutando
failed: La tarea tuvo un error durante la ejecución y no pudo ejecutarse
skipped: La tarea se omitió debido a bifurcación, LatestOnly o similar.
upstream_failed: una tarea ascendente falló y la regla de activación dice que la necesitábamos
up_for_retry: La tarea falló, pero quedan reintentos y se reprogramará.
up_for_reschedule: La tarea es un Sensor que está en reschedulemodo
deferred: La tarea se ha aplazado a un activador
removed: La tarea ha desaparecido del DAG desde que comenzó la ejecució
Task actions:
Seria importante que tambien se pueden hacer skip de tareas pero eso seguramente lo veremos en la clase del branch operator
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?