¿Para qué sirve airflow?

Contenido del curso

Introducción a Apache Airflow

Conceptos básicos

Instalación y configuración

Implementando un DAG

Orquestar y monitorizar procesos

Sensores

0:005:34

¿Para qué sirve airflow?

Curso de Fundamentos de Apache Airflow

Clase 2 de 29

Clase 2 / 29

Comentarios (18)18 comentarios

Andres Insuasty

Hace 4 años

Airflow es un orquestador, asi que se encarga de decir como y cuando hacer las cosas, pero otros deben ser los que ejecuten.

Airflow es como el señor que tiene la batuta en una orquesta, el nunca toca un instrumento pero es el que dirije a toda la gente para que haga mejor en lo que cada uno es experto.

Leonardo Carvallo

Hace 4 años

Un ejemplo simple de entender es el siguiente, si en medio de la tarea estas procesando un dataframe de 5 millones de registros, esto va a ocupar espacio en memoria y cpu de procesamiento de la maquina que orquesta ese y todos los demas dags de tu modelo de negocio (que tambien pueden estar procesando millones de datos al mismo tiempo), por lo que se puede comprometer el performance del resto de las tareas, llegando a demorar las ejecuciones mas de lo normal o incluso colapsando las ejecuciones.

Eric Bellet

Profesor

Hace 4 años

Excelente ejemplo, gracias por la aportación.

César Vega

Hace 4 años

Dentro de las posibilidades por las cuales no se debe ejecutar en la misma máquina de airflow, considero

La alta computación o alta demanda de recursos de las actividades afectaría el funcionamiento propio de airflow y esto afectaría el wordflow imposibilitando la continuidad a las siguientes actividades.
Los actividades programadas pueden necesitar requerimientos especiales para funcionar en aspectos de hardware, software, networking, entre otras; que en muchos casos no se pueden suministrar en un solo equipo.
Una alta disponibilidad implica que la arquitectura de orquestación y ejecución sean en dos entornos diferentes, para la segregación de tareas.

Freddy Norberto Montañez Gordillo

Hace 4 años

En mi opinión el performance en data es crucial por lo que tener todos los procesos en una misma máquina puede hacerla o muy costosa o ineficiente. Siempre es bueno distribuir las tareas complejas en diferentes máquinas para mejor eficiencia y menores costos en determinados casos.

Eric Bellet

Profesor

Hace 4 años

Exactamente Freddy

Rafael Alejandro Belalcázar Burbano

Hace 4 años

Tener tareas demasiado pesadas a nivel de procesamiento en la misma maquina donde está corriendo el servidor de airflow puede causar problemas de performance. Por ejemplo, leer una fuente con millones de registros puede copar la memoria y provocar una caída del servidor o falla en otros DAGs que no pueden ser ejecutados por falta de recursos.

Luis Alberto Dávila Rodriguez

Hace 10 meses

¿Por qué no es recomendable ejecutar estas tareas en la misma máquina de airflow?

Porque rompe el principio de separación de responsabilidades, convierte Airflow en un monolito, limita la escalabilidad, pone en riesgo la estabilidad del orquestador y va en contra del modelo de procesamiento distribuido que tecnologías como Spark están diseñadas para aprovechar.

Airflow es un orquestador, no un motor de cómputo.

Su responsabilidad es:

Programar
Orquestar
Monitorear
Reintentar

Gian HM

Hace 3 años

### 1.2. ¿Para qué sirve airflow? 1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias. 2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo. 3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea. 4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo. 5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.

CRISTIAN CAMILO TIRADO CIFUENTES

Hace 4 años

Considero que puede ser el tipo de máquina en términos del sistema operativo, capacidades y demás ya que puede hacer que airflow se tome mucho tiempo en eso y esta tarea la puede brindar un servicio de EC2. Saludos profe.

Guillermo Pedro Cuneo

Hace 3 años

Habitualmente buscaremos ingerir grandes volumenes de datos de distintas fuentes de origenes que deberemos limpiar, normalizar, hacer calculos, agregaciones y cruce entre los distintos datos obtenidos, todos estos procesos corriendo en una misma maquina es muy provable que nos topemos con limites de recursos como ser CPU y memoria ram, y en este punto el escalamiento vertical no solo seria costoso a nivel monetario tambien seria costoso a nivel corte de servicio, es por ello que es mejor manejar este procesamiento como tareas en otros equipos o nodos que se dediquen pura y exclusivamente para esto, lo cuales incluso teniendo un pipline correctamente programado los podriamos lanzar a demanda ahorrando costos o billing en recursos de infraestructura ociosa.

Mario Alexander Vargas Celis

Hace 2 años

Apache Airflow es una plataforma de código abierto diseñada para orquestar y programar flujos de trabajo (workflows) en la gestión de datos y tareas repetitivas de manera eficiente y escalable. A continuación, te explico sus usos principales:

¿Para qué sirve Apache Airflow?

1. Automatización de flujos de trabajo

Airflow permite definir, programar y monitorear flujos de trabajo que constan de tareas interdependientes. Por ejemplo:

Extraer datos de una fuente (ETL).
Procesar esos datos.
Almacenar los datos procesados en un Data Warehouse o Data Lake.
Generar reportes o visualizaciones.

2. Gestión de dependencias

Los flujos de trabajo en Airflow están representados como gráficos acíclicos dirigidos (DAGs), lo que permite definir relaciones y dependencias entre tareas. Esto asegura que:

Las tareas se ejecuten en el orden correcto.
Las fallas puedan ser gestionadas de manera efectiva sin afectar todo el flujo.

3. Programación de tareas

Airflow permite programar la ejecución de tareas de manera flexible, desde una vez al día hasta horarios más complejos, como "el último día laborable de cada mes".

4. Monitorización y re-ejecución

Airflow ofrece una interfaz gráfica (UI) para monitorear y depurar los flujos:

Ver el estado actual de las tareas (en progreso, exitoso, fallido).
Volver a ejecutar tareas que fallaron sin necesidad de repetir todo el flujo.

5. Integración con múltiples herramientas

Airflow puede interactuar con diversas tecnologías y plataformas gracias a sus operadores predefinidos y la capacidad de personalizarlos:

Bases de datos (PostgreSQL, MySQL, etc.).
Herramientas en la nube (AWS, Google Cloud, Azure).
APIs personalizadas.
Sistemas de procesamiento como Spark o Hadoop.

6. Escalabilidad

Al ejecutarse en arquitecturas distribuidas, Airflow puede manejar grandes volúmenes de tareas en entornos de producción con múltiples nodos.

Casos de uso típicos

ETL (Extracción, Transformación y Carga) Orquestar procesos que extraen datos, los transforman y los cargan en sistemas de almacenamiento centralizado.
Pipeline de Machine Learning Automatizar pasos como preprocesamiento, entrenamiento, evaluación y despliegue de modelos.
Gestión de datos en Data Warehousing Planificar cargas regulares o incrementales de datos al Data Warehouse.
Procesos empresariales repetitivos Automatizar reportes financieros, reconciliaciones de cuentas, entre otros.

Ventajas de Apache Airflow

Código definido en Python, lo que lo hace flexible y personalizable.
Soporte para tareas dinámicas y complejas.
Comunidad activa y ecosistema creciente.
UI intuitiva para monitorear flujos.

En resumen, Apache Airflow sirve para orquestar y gestionar flujos de trabajo complejos de manera programada, monitoreable y escalable, siendo una herramienta clave en proyectos de analítica, Big Data y desarrollo de pipelines.

Elizabeth Ketty Lirion Carbajal

Hace 2 años

Cuellos de Botella en Recursos

Si ejecutas Airflow, los scripts y la base de datos en la misma máquina, los procesos pueden competir por CPU, RAM y disco, afectando el rendimiento y la estabilidad del sistema.

Angel Rosendo Mendoza Rodríguez

Hace 2 años

Sera reiterativo, pero la función principal de Airflow es la orquestación del flujo de tareas y las tareas se delegan segun su naturaleza. Lo anterior me recuerda mucho varias herramientas que siempre hay un nodo controlador o master como en spak, es una arquitectura muy común que he visto en varias herramientas y tiene sentido.

Gian HM

Hace 3 años

### 1.2. ¿Para qué sirve airflow?

1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.

2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.

3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.

4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.

5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.
```### 1.2. ¿Para qué sirve airflow?
1\. \*\*Programación de tareas:\*\* Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.
2\. \*\*Ejecución escalable:\*\* Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.
3\. \*\*Monitoreo y registro:\*\* Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.
4\. \*\*Reutilización de código y modularidad:\*\* Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.
5\. \*\*Integración con herramientas y servicios:\*\* Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.

Luis Alberto Dávila Rodriguez

Hace 4 meses

Airflow está pensado en orquestar procesos no en el procesamiento de los datos, ya que esto lo debemos de hacerlo en cada máquina para aprovechar al máximo los recursos cómo el procesamiento distribuido con spark.

Dennis David Padilla Hernandez

Hace 7 meses

Cuando cree mi primer pipeline de datos cometi ese error, estaba cargando los workers con el procesamiento de mas de 500 mil registros, ahi aprendi y entendi que si bien en airflow se pueden procesar, no es lo mas optimo, gracias por clarificarme este apartado, que justo por eso y aprender mas de la herramienta estoy aqui

Andrés Marín Sánchez

Hace 2 años

Entiendo que esta herramienta sustituye lo que uno normalmente desarrolla para SSIS en Visual Studio Data Tools, verdad?

Eric Bellet

Profesor

Hace 2 años

Sí, correcto

Eric Bellet

Profesor

Hace un año

Correcto

Alfredo Olmedo

Hace 2 años

Es un Kubernetes de Data Science.

Mientras que Kubernetes es el estándar de facto para la orquestación de contenedores en el mundo del desarrollo y operaciones, Apache Airflow desempeña un rol similar en el ámbito de la ciencia de datos y la ingeniería de datos.

Paralelismos clave:

Orquestación: Kubernetes gestiona y orquesta contenedores en entornos distribuidos, mientras que Apache Airflow se centra en orquestar flujos de trabajo y pipelines de datos.
Automatización y Escalabilidad: Ambos permiten automatizar tareas y escalar procesos según la demanda, resolviendo problemas de coordinación en entornos complejos.
Ecosistema: Al igual que Kubernetes se ha convertido en el núcleo alrededor del cual giran herramientas como Helm, Istio o Prometheus, Airflow es el corazón de ecosistemas relacionados con la ingesta, transformación y almacenamiento de datos.

Sin embargo, hay diferencias importantes. Kubernetes opera a un nivel más infraestructural, gestionando servidores y recursos computacionales, mientras que Airflow se concentra más en tareas específicas de procesamiento y flujo de datos.

Natalia Villegas

Hace 2 años

Ejecutar tareas en máquinas separadas de Airflow mejora la eficiencia, escalabilidad, seguridad y mantenimiento del sistema.

### 1.2. ¿Para qué sirve airflow?

1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.

2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.

3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.

4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.

5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.
```### 1.2. ¿Para qué sirve airflow?
1\. \*\*Programación de tareas:\*\* Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.
2\. \*\*Ejecución escalable:\*\* Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.
3\. \*\*Monitoreo y registro:\*\* Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.
4\. \*\*Reutilización de código y modularidad:\*\* Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.
5\. \*\*Integración con herramientas y servicios:\*\* Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.

Introducción a Apache Airflow

Introducción al curso

¿Para qué sirve airflow?

¿Por qué usar airflow?

Resumen módulo 1

Conceptos básicos

DAG

Tasks y Operators

Scheduler

Instalación y configuración

Instalación de Apache Airflow usando Docker

Posibles configuraciones

Variables y conexiones

Implementando un DAG

Implementando un DAG

Bash Operator

Python Operator

Definiendo dependencias entre tareas

Custom Operator

Orquestar y monitorizar procesos

Orquestando un DAG I

Orquestando un DAG II

Monitoring

Task Actions

Trigger Rules

Sensores

¿Qué son los sensores?

ExternalTaskSensor

FileSensor

Templates con Jinja

¿Qué son los templates con Jinja?

XComs

¿Qué son los Xcoms?

BranchPythonOperator

BranchPythonOperator

Proyecto

Definición del proyecto

Cierre del curso

Cierre del curso

Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate

¿Para qué sirve airflow?