¿Para qué sirve airflow?
Clase 2 de 29 • Curso de Fundamentos de Apache Airflow
Contenido del curso
Andres Insuasty
student•
hace 4 años
Clase 2 de 29 • Curso de Fundamentos de Apache Airflow
Contenido del curso
Andres Insuasty
Leonardo Carvallo
Eric Bellet
César Vega
Freddy Norberto Montañez Gordillo
Eric Bellet
Rafael Alejandro Belalcázar Burbano
Luis Alberto Dávila Rodriguez
Gian HM
CRISTIAN CAMILO TIRADO CIFUENTES
Guillermo Pedro Cuneo
Mario Alexander Vargas Celis
Elizabeth Ketty Lirion Carbajal
Angel Rosendo Mendoza Rodríguez
Gian HM
Dennis David Padilla Hernandez
Andrés Marín Sánchez
Eric Bellet
Eric Bellet
Alfredo Olmedo
Natalia Villegas
Airflow es un orquestador, asi que se encarga de decir como y cuando hacer las cosas, pero otros deben ser los que ejecuten.
Airflow es como el señor que tiene la batuta en una orquesta, el nunca toca un instrumento pero es el que dirije a toda la gente para que haga mejor en lo que cada uno es experto.
Un ejemplo simple de entender es el siguiente, si en medio de la tarea estas procesando un dataframe de 5 millones de registros, esto va a ocupar espacio en memoria y cpu de procesamiento de la maquina que orquesta ese y todos los demas dags de tu modelo de negocio (que tambien pueden estar procesando millones de datos al mismo tiempo), por lo que se puede comprometer el performance del resto de las tareas, llegando a demorar las ejecuciones mas de lo normal o incluso colapsando las ejecuciones.
Excelente ejemplo, gracias por la aportación.
Dentro de las posibilidades por las cuales no se debe ejecutar en la misma máquina de airflow, considero
La alta computación o alta demanda de recursos de las actividades afectaría el funcionamiento propio de airflow y esto afectaría el wordflow imposibilitando la continuidad a las siguientes actividades.
Los actividades programadas pueden necesitar requerimientos especiales para funcionar en aspectos de hardware, software, networking, entre otras; que en muchos casos no se pueden suministrar en un solo equipo.
Una alta disponibilidad implica que la arquitectura de orquestación y ejecución sean en dos entornos diferentes, para la segregación de tareas.
En mi opinión el performance en data es crucial por lo que tener todos los procesos en una misma máquina puede hacerla o muy costosa o ineficiente. Siempre es bueno distribuir las tareas complejas en diferentes máquinas para mejor eficiencia y menores costos en determinados casos.
Exactamente Freddy
Tener tareas demasiado pesadas a nivel de procesamiento en la misma maquina donde está corriendo el servidor de airflow puede causar problemas de performance. Por ejemplo, leer una fuente con millones de registros puede copar la memoria y provocar una caída del servidor o falla en otros DAGs que no pueden ser ejecutados por falta de recursos.
¿Por qué no es recomendable ejecutar estas tareas en la misma máquina de airflow?
Porque rompe el principio de separación de responsabilidades, convierte Airflow en un monolito, limita la escalabilidad, pone en riesgo la estabilidad del orquestador y va en contra del modelo de procesamiento distribuido que tecnologías como Spark están diseñadas para aprovechar.
Airflow es un orquestador, no un motor de cómputo.
Su responsabilidad es:
### 1.2. ¿Para qué sirve airflow? 1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias. 2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo. 3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea. 4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo. 5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.
Considero que puede ser el tipo de máquina en términos del sistema operativo, capacidades y demás ya que puede hacer que airflow se tome mucho tiempo en eso y esta tarea la puede brindar un servicio de EC2. Saludos profe.
Habitualmente buscaremos ingerir grandes volumenes de datos de distintas fuentes de origenes que deberemos limpiar, normalizar, hacer calculos, agregaciones y cruce entre los distintos datos obtenidos, todos estos procesos corriendo en una misma maquina es muy provable que nos topemos con limites de recursos como ser CPU y memoria ram, y en este punto el escalamiento vertical no solo seria costoso a nivel monetario tambien seria costoso a nivel corte de servicio, es por ello que es mejor manejar este procesamiento como tareas en otros equipos o nodos que se dediquen pura y exclusivamente para esto, lo cuales incluso teniendo un pipline correctamente programado los podriamos lanzar a demanda ahorrando costos o billing en recursos de infraestructura ociosa.
Apache Airflow es una plataforma de código abierto diseñada para orquestar y programar flujos de trabajo (workflows) en la gestión de datos y tareas repetitivas de manera eficiente y escalable. A continuación, te explico sus usos principales:
¿Para qué sirve Apache Airflow?
1. Automatización de flujos de trabajo
Airflow permite definir, programar y monitorear flujos de trabajo que constan de tareas interdependientes. Por ejemplo:
2. Gestión de dependencias
Los flujos de trabajo en Airflow están representados como gráficos acíclicos dirigidos (DAGs), lo que permite definir relaciones y dependencias entre tareas. Esto asegura que:
3. Programación de tareas
Airflow permite programar la ejecución de tareas de manera flexible, desde una vez al día hasta horarios más complejos, como "el último día laborable de cada mes".
4. Monitorización y re-ejecución
Airflow ofrece una interfaz gráfica (UI) para monitorear y depurar los flujos:
5. Integración con múltiples herramientas
Airflow puede interactuar con diversas tecnologías y plataformas gracias a sus operadores predefinidos y la capacidad de personalizarlos:
6. Escalabilidad
Al ejecutarse en arquitecturas distribuidas, Airflow puede manejar grandes volúmenes de tareas en entornos de producción con múltiples nodos.
Casos de uso típicos
Ventajas de Apache Airflow
En resumen, Apache Airflow sirve para orquestar y gestionar flujos de trabajo complejos de manera programada, monitoreable y escalable, siendo una herramienta clave en proyectos de analítica, Big Data y desarrollo de pipelines.
Cuellos de Botella en Recursos
Si ejecutas Airflow, los scripts y la base de datos en la misma máquina, los procesos pueden competir por CPU, RAM y disco, afectando el rendimiento y la estabilidad del sistema.
Sera reiterativo, pero la función principal de Airflow es la orquestación del flujo de tareas y las tareas se delegan segun su naturaleza. Lo anterior me recuerda mucho varias herramientas que siempre hay un nodo controlador o master como en spak, es una arquitectura muy común que he visto en varias herramientas y tiene sentido.
### 1.2. ¿Para qué sirve airflow? 1. **Programación de tareas:** Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias. 2. **Ejecución escalable:** Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo. 3. **Monitoreo y registro:** Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea. 4. **Reutilización de código y modularidad:** Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo. 5. **Integración con herramientas y servicios:** Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc. ```### 1.2. ¿Para qué sirve airflow? 1\. \*\*Programación de tareas:\*\* Permite definir flujos de trabajo como DAGs (Grafos Acíclicos Dirigidos), donde se pueden especificar tareas individuales y sus dependencias. 2\. \*\*Ejecución escalable:\*\* Airflow puede ejecutar múltiples flujos de trabajo en paralelo y escalar para manejar grandes volúmenes de trabajo. 3\. \*\*Monitoreo y registro:\*\* Proporciona una interfaz de usuario web que permite monitorear el progreso de los flujos de trabajo, ver el historial de ejecución y acceder a registros detallados de cada tarea. 4\. \*\*Reutilización de código y modularidad:\*\* Permite reutilizar código y definir tareas como funciones Python, lo que facilita la modularidad y la reutilización en diferentes flujos de trabajo. 5\. \*\*Integración con herramientas y servicios:\*\* Airflow se integra con una variedad de herramientas y servicios populares, como bases de datos, sistemas de almacenamiento, servicios en la nube, etc.
Cuando cree mi primer pipeline de datos cometi ese error, estaba cargando los workers con el procesamiento de mas de 500 mil registros, ahi aprendi y entendi que si bien en airflow se pueden procesar, no es lo mas optimo, gracias por clarificarme este apartado, que justo por eso y aprender mas de la herramienta estoy aqui
Entiendo que esta herramienta sustituye lo que uno normalmente desarrolla para SSIS en Visual Studio Data Tools, verdad?
Sí, correcto
Correcto
Es un Kubernetes de Data Science.
Mientras que Kubernetes es el estándar de facto para la orquestación de contenedores en el mundo del desarrollo y operaciones, Apache Airflow desempeña un rol similar en el ámbito de la ciencia de datos y la ingeniería de datos.
Paralelismos clave:
Sin embargo, hay diferencias importantes. Kubernetes opera a un nivel más infraestructural, gestionando servidores y recursos computacionales, mientras que Airflow se concentra más en tareas específicas de procesamiento y flujo de datos.
Ejecutar tareas en máquinas separadas de Airflow mejora la eficiencia, escalabilidad, seguridad y mantenimiento del sistema.