¿Para qué sirve airflow?

Airflow es un orquestador, asi que se encarga de decir como y cuando hacer las cosas, pero otros deben ser los que ejecuten.

Airflow es como el señor que tiene la batuta en una orquesta, el nunca toca un instrumento pero es el que dirije a toda la gente para que haga mejor en lo que cada uno es experto.

Un ejemplo simple de entender es el siguiente, si en medio de la tarea estas procesando un dataframe de 5 millones de registros, esto va a ocupar espacio en memoria y cpu de procesamiento de la maquina que orquesta ese y todos los demas dags de tu modelo de negocio (que tambien pueden estar procesando millones de datos al mismo tiempo), por lo que se puede comprometer el performance del resto de las tareas, llegando a demorar las ejecuciones mas de lo normal o incluso colapsando las ejecuciones.

Dentro de las posibilidades por las cuales no se debe ejecutar en la misma máquina de airflow, considero

1. La alta computación o alta demanda de recursos de las actividades afectaría el funcionamiento propio de airflow y esto afectaría el wordflow imposibilitando la continuidad a las siguientes actividades.

2. Los actividades programadas pueden necesitar requerimientos especiales para funcionar en aspectos de hardware, software, networking, entre otras; que en muchos casos no se pueden suministrar en un solo equipo.

3. Una alta disponibilidad implica que la arquitectura de orquestación y ejecución sean en dos entornos diferentes, para la segregación de tareas.

En mi opinión el performance en data es crucial por lo que tener todos los procesos en una misma máquina puede hacerla o muy costosa o ineficiente. Siempre es bueno distribuir las tareas complejas en diferentes máquinas para mejor eficiencia y menores costos en determinados casos.

Tener tareas demasiado pesadas a nivel de procesamiento en la misma maquina donde está corriendo el servidor de airflow puede causar problemas de performance.
Por ejemplo, leer una fuente con millones de registros puede copar la memoria y provocar una caída del servidor o falla en otros DAGs que no pueden ser ejecutados por falta de recursos.

Considero que puede ser el tipo de máquina en términos del sistema operativo, capacidades y demás ya que puede hacer que airflow se tome mucho tiempo en eso y esta tarea la puede brindar un servicio de EC2. Saludos profe.

Habitualmente buscaremos ingerir grandes volumenes de datos de distintas fuentes de origenes que deberemos limpiar, normalizar, hacer calculos, agregaciones y cruce entre los distintos datos obtenidos, todos estos procesos corriendo en una misma maquina es muy provable que nos topemos con limites de recursos como ser CPU y memoria ram, y en este punto el escalamiento vertical no solo seria costoso a nivel monetario tambien seria costoso a nivel corte de servicio, es por ello que es mejor manejar este procesamiento como tareas en otros equipos o nodos que se dediquen pura y exclusivamente para esto, lo cuales incluso teniendo un pipline correctamente programado los podriamos lanzar a demanda ahorrando costos o billing en recursos de infraestructura ociosa.