¿Para qué sirve airflow?

Clase 2 de 29 • Curso de Fundamentos de Apache Airflow

Andres Insuasty

student•

Airflow es un orquestador, asi que se encarga de decir como y cuando hacer las cosas, pero otros deben ser los que ejecuten.

Airflow es como el señor que tiene la batuta en una orquesta, el nunca toca un instrumento pero es el que dirije a toda la gente para que haga mejor en lo que cada uno es experto.

Leonardo Carvallo

student•

Un ejemplo simple de entender es el siguiente, si en medio de la tarea estas procesando un dataframe de 5 millones de registros, esto va a ocupar espacio en memoria y cpu de procesamiento de la maquina que orquesta ese y todos los demas dags de tu modelo de negocio (que tambien pueden estar procesando millones de datos al mismo tiempo), por lo que se puede comprometer el performance del resto de las tareas, llegando a demorar las ejecuciones mas de lo normal o incluso colapsando las ejecuciones.

Eric Bellet

teacher•

Excelente ejemplo, gracias por la aportación.

César Vega

student•

Dentro de las posibilidades por las cuales no se debe ejecutar en la misma máquina de airflow, considero

La alta computación o alta demanda de recursos de las actividades afectaría el funcionamiento propio de airflow y esto afectaría el wordflow imposibilitando la continuidad a las siguientes actividades.
Los actividades programadas pueden necesitar requerimientos especiales para funcionar en aspectos de hardware, software, networking, entre otras; que en muchos casos no se pueden suministrar en un solo equipo.
Una alta disponibilidad implica que la arquitectura de orquestación y ejecución sean en dos entornos diferentes, para la segregación de tareas.

Freddy Norberto Montañez Gordillo

student•

En mi opinión el performance en data es crucial por lo que tener todos los procesos en una misma máquina puede hacerla o muy costosa o ineficiente. Siempre es bueno distribuir las tareas complejas en diferentes máquinas para mejor eficiencia y menores costos en determinados casos.

Eric Bellet

teacher•

Exactamente Freddy

Rafael Alejandro Belalcázar Burbano

student•

Tener tareas demasiado pesadas a nivel de procesamiento en la misma maquina donde está corriendo el servidor de airflow puede causar problemas de performance. Por ejemplo, leer una fuente con millones de registros puede copar la memoria y provocar una caída del servidor o falla en otros DAGs que no pueden ser ejecutados por falta de recursos.

Gian HM

student•

### 1.2. ¿Para qué sirve airflow? 1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias. 2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo. 3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea. 4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo. 5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.

CRISTIAN CAMILO TIRADO CIFUENTES

student•

Considero que puede ser el tipo de máquina en términos del sistema operativo, capacidades y demás ya que puede hacer que airflow se tome mucho tiempo en eso y esta tarea la puede brindar un servicio de EC2. Saludos profe.

Guillermo Pedro Cuneo

student•

Habitualmente buscaremos ingerir grandes volumenes de datos de distintas fuentes de origenes que deberemos limpiar, normalizar, hacer calculos, agregaciones y cruce entre los distintos datos obtenidos, todos estos procesos corriendo en una misma maquina es muy provable que nos topemos con limites de recursos como ser CPU y memoria ram, y en este punto el escalamiento vertical no solo seria costoso a nivel monetario tambien seria costoso a nivel corte de servicio, es por ello que es mejor manejar este procesamiento como tareas en otros equipos o nodos que se dediquen pura y exclusivamente para esto, lo cuales incluso teniendo un pipline correctamente programado los podriamos lanzar a demanda ahorrando costos o billing en recursos de infraestructura ociosa.

Mario Alexander Vargas Celis

student•

Apache Airflow es una plataforma de código abierto diseñada para orquestar y programar flujos de trabajo (workflows) en la gestión de datos y tareas repetitivas de manera eficiente y escalable. A continuación, te explico sus usos principales:

¿Para qué sirve Apache Airflow?

1. Automatización de flujos de trabajo

Airflow permite definir, programar y monitorear flujos de trabajo que constan de tareas interdependientes. Por ejemplo:

Extraer datos de una fuente (ETL).
Procesar esos datos.
Almacenar los datos procesados en un Data Warehouse o Data Lake.
Generar reportes o visualizaciones.

2. Gestión de dependencias

Los flujos de trabajo en Airflow están representados como gráficos acíclicos dirigidos (DAGs), lo que permite definir relaciones y dependencias entre tareas. Esto asegura que:

Las tareas se ejecuten en el orden correcto.
Las fallas puedan ser gestionadas de manera efectiva sin afectar todo el flujo.

3. Programación de tareas

Airflow permite programar la ejecución de tareas de manera flexible, desde una vez al día hasta horarios más complejos, como "el último día laborable de cada mes".

4. Monitorización y re-ejecución

Airflow ofrece una interfaz gráfica (UI) para monitorear y depurar los flujos:

Ver el estado actual de las tareas (en progreso, exitoso, fallido).
Volver a ejecutar tareas que fallaron sin necesidad de repetir todo el flujo.

5. Integración con múltiples herramientas

Airflow puede interactuar con diversas tecnologías y plataformas gracias a sus operadores predefinidos y la capacidad de personalizarlos:

Bases de datos (PostgreSQL, MySQL, etc.).
Herramientas en la nube (AWS, Google Cloud, Azure).
APIs personalizadas.
Sistemas de procesamiento como Spark o Hadoop.

6. Escalabilidad

Al ejecutarse en arquitecturas distribuidas, Airflow puede manejar grandes volúmenes de tareas en entornos de producción con múltiples nodos.

Casos de uso típicos

ETL (Extracción, Transformación y Carga) Orquestar procesos que extraen datos, los transforman y los cargan en sistemas de almacenamiento centralizado.
Pipeline de Machine Learning Automatizar pasos como preprocesamiento, entrenamiento, evaluación y despliegue de modelos.
Gestión de datos en Data Warehousing Planificar cargas regulares o incrementales de datos al Data Warehouse.
Procesos empresariales repetitivos Automatizar reportes financieros, reconciliaciones de cuentas, entre otros.

Ventajas de Apache Airflow

Código definido en Python, lo que lo hace flexible y personalizable.
Soporte para tareas dinámicas y complejas.
Comunidad activa y ecosistema creciente.
UI intuitiva para monitorear flujos.

En resumen, Apache Airflow sirve para orquestar y gestionar flujos de trabajo complejos de manera programada, monitoreable y escalable, siendo una herramienta clave en proyectos de analítica, Big Data y desarrollo de pipelines.

Elizabeth Ketty Lirion Carbajal

student•

Cuellos de Botella en Recursos

Si ejecutas Airflow, los scripts y la base de datos en la misma máquina, los procesos pueden competir por CPU, RAM y disco, afectando el rendimiento y la estabilidad del sistema.

Angel Rosendo Mendoza Rodríguez

student•

Sera reiterativo, pero la función principal de Airflow es la orquestación del flujo de tareas y las tareas se delegan segun su naturaleza. Lo anterior me recuerda mucho varias herramientas que siempre hay un nodo controlador o master como en spak, es una arquitectura muy común que he visto en varias herramientas y tiene sentido.

Gian HM

student•

### 1.2. ¿Para qué sirve airflow?

1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.

2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.

3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.

4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.

5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.
```### 1.2. ¿Para qué sirve airflow?
1\. \*\*Programación de tareas:\*\* Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.
2\. \*\*Ejecución escalable:\*\* Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.
3\. \*\*Monitoreo y registro:\*\* Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.
4\. \*\*Reutilización de código y modularidad:\*\* Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.
5\. \*\*Integración con herramientas y servicios:\*\* Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.

Luis Alberto Dávila Rodriguez

student•

¿Por qué no es recomendable ejecutar estas tareas en la misma máquina de airflow?

Porque rompe el principio de separación de responsabilidades, convierte Airflow en un monolito, limita la escalabilidad, pone en riesgo la estabilidad del orquestador y va en contra del modelo de procesamiento distribuido que tecnologías como Spark están diseñadas para aprovechar.

Airflow es un orquestador, no un motor de cómputo.

Su responsabilidad es:

Programar
Orquestar
Monitorear
Reintentar

Andrés Marín Sánchez

student•

Entiendo que esta herramienta sustituye lo que uno normalmente desarrolla para SSIS en Visual Studio Data Tools, verdad?

Eric Bellet

teacher•

Sí, correcto

Eric Bellet

teacher•

Correcto

Alfredo Olmedo

student•

Es un Kubernetes de Data Science.

Mientras que Kubernetes es el estándar de facto para la orquestación de contenedores en el mundo del desarrollo y operaciones, Apache Airflow desempeña un rol similar en el ámbito de la ciencia de datos y la ingeniería de datos.

Paralelismos clave:

Orquestación: Kubernetes gestiona y orquesta contenedores en entornos distribuidos, mientras que Apache Airflow se centra en orquestar flujos de trabajo y pipelines de datos.
Automatización y Escalabilidad: Ambos permiten automatizar tareas y escalar procesos según la demanda, resolviendo problemas de coordinación en entornos complejos.
Ecosistema: Al igual que Kubernetes se ha convertido en el núcleo alrededor del cual giran herramientas como Helm, Istio o Prometheus, Airflow es el corazón de ecosistemas relacionados con la ingesta, transformación y almacenamiento de datos.

Sin embargo, hay diferencias importantes. Kubernetes opera a un nivel más infraestructural, gestionando servidores y recursos computacionales, mientras que Airflow se concentra más en tareas específicas de procesamiento y flujo de datos.

Natalia Villegas

student•

Ejecutar tareas en máquinas separadas de Airflow mejora la eficiencia, escalabilidad, seguridad y mantenimiento del sistema.

### 1.2. ¿Para qué sirve airflow?

1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.

2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.

3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.

4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.

5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.
```### 1.2. ¿Para qué sirve airflow?
1\. \*\*Programación de tareas:\*\* Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias.
2\. \*\*Ejecución escalable:\*\* Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo.
3\. \*\*Monitoreo y registro:\*\* Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea.
4\. \*\*Reutilización de código y modularidad:\*\* Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo.
5\. \*\*Integración con herramientas y servicios:\*\* Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.

¿Para qué sirve airflow?

Introducción a Apache Airflow

Introducción al curso

¿Para qué sirve airflow?

¿Por qué usar airflow?

Resumen módulo 1

Conceptos básicos

DAG

Tasks y Operators

Scheduler

Instalación y configuración

Instalación de Apache Airflow usando Docker

Posibles configuraciones

Variables y conexiones

Implementando un DAG

Implementando un DAG

Bash Operator

Python Operator

Definiendo dependencias entre tareas

Custom Operator

Orquestar y monitorizar procesos

Orquestando un DAG I

Orquestando un DAG II

Monitoring

Task Actions

Trigger Rules

Sensores

¿Qué son los sensores?

ExternalTaskSensor

FileSensor

Templates con Jinja

¿Qué son los templates con Jinja?

XComs

¿Qué son los Xcoms?

BranchPythonOperator

BranchPythonOperator

Proyecto

Definición del proyecto

Cierre del curso

Cierre del curso

Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate