¿Por qué usar airflow?
Clase 3 de 29 • Curso de Fundamentos de Apache Airflow
Contenido del curso
Andres Insuasty
student•
hace 3 años
Mi Chu
student•
hace 3 años
Andres Insuasty
Mi Chu
Isay Humberto Lucas Hernandez
Eric Bellet
Juan Sebastián Vargas Castañeda
Eric Bellet
Leandro Gabriel Kategora
Eric Bellet
Leonardo Carvallo
Flavio Mamani conde
Freddy Norberto Montañez Gordillo
Eric Bellet
Daniel da Silva Jarque
Patricia Velazquez
Juan Antonio Aramburo Pasapera
Jose Colmenares
Eric Bellet
Alfonso Andres Zapata Guzman
Luis Ernesto Domínguez Velásquez
Ruben Dario Toro Gutierrez
Camilo Corredor
Randy José Agustín Montenegro Socha
Luis Ochoa
Ezequiel Vásquez
Giannina Stefania Baccelliere Mancilla
Eric Bellet
César Vega
A mi me interesa aprender de airflow porque es la forma en la que salimos a producción en mi trabajo. Los productos de datos salen por airflow. Saberlo manejar mejor creo que a todos no va a servir para potencializar nuestro impacto
En las vacantes de data (cualquier rol) piden tanto airflow como spark 🙌
Me interesa aprender AirFlow porque allá afuera es el estándar. Y aparte de la documentación, hay pocos cursos o recursos de entrenamiento. Este curso vino como anillo al dedo a todos los perfiles de data en formación (en especial a los data Engineers).
Totalmente de acuerdo Isay!
En mi caso porque estoy transitando de Data Analyst a Data Engineer, y en la arquitectura del proyecto que voy a comenzar se está requiriendo Apache Airflow para construir un ETL.
Genial Juan, esa transición es muy interesante porque vas a tener las 2 visiones
a mi me interesa especialmente porque tengo varios procesos de ETL que fui armando pero no estan automatizados, y la verdad porque me gusta bastante la ingenieria de datos
Seguro te va a ser de mucha utilidad!
Es correcto, reviso más Airflow que el mail, leer log y hacer pruebas en Airflow ocupa un porcentaje importante de mi día.
yo quiero aprender porque lo necesito para un proyecto q lo tengo q entregar en unas horas. jaja bueno no. solo quiero automatizar un flujo de trabajo...
Como Ingeniero BI y de datos siempre es bueno estar a la vanguardia de las ultimas tecnologias. Hace poco un proyecto potencial que usa la herramienta despertó mi curiosidad y me pareció interesante aprenderla.
Y seguramente te la seguirás encontrando
En mi trabajo la evolución ha sido:
Inevitablemente, acabas llegando a Python y al workflow. He automatizado en jobs de PDI scripts en Python (de manera síncrona), pero comienzan a surgir nuevas necesidades y complejidades en esta “capa de la cebolla”, como carga de procesador, etc.
Solución para organizar el workflow: Apache Airflow, por supuesto!!! 😃
En mi caso por que voy a comenzar un nuevo puesto de Business Analyst, y sé que utílizan Astronomer, qué es una empresa que fácilita el uso de Airflow con una interfáz simple y algunas funcionalidades extra, y quiero ver el alcance de como funciona.
Yo quiero aprender apache porque justo entre a un trabajo en el que utilizan apache airflow para orquestar los etls. Así que quiero aprenderlo antes de terminar el onboarding para entrar con todo a la chamba.
Soy Data Engineer para una empresa llamada ClarityAI y Airflow es el backbone de todos nuestro procesos. Airflow y Docker para gestionar las ETLs, vine al curso a validar si me faltaban cosas por aprender o incluir a mi procesos
Espero que puedas aprender algo nuevo :)
Me interesa aprender esta tecnologia, por la razon de quien no evoluciona esta destinado a extinguirse, hágase el simil a tecnologia.
Se ve muy buena esta herramienta, y ya habiendo trabajo en el curso de MLOps de platzi, con creacion de flujos CI/CD, he entendido lo potente que pueden ser herramiendas como DVC y otras.
Lo usaremos o no en nuestro proximo trabajo, quizas si o quizas no, pero igual mantenerse actualizado en tecnologias siempre es bueno a nivel general.
Me gustaria eso si, un curso de Kubeflow, ya que a mi me suena un poquito mas interesante que esta herramienta.
~ Por cierto, ya conectamos en LinkedIn? ~
Conectemos en LinkedIn, GitHub, Medium o Redes sociales
A mi me interesa aprender Airflow porque hace 4 años que he incursionado en el mundo de los datos como Analista de Datos, algo de Científico de Datos y en este último semestre de 2024 realicé una consultoría de automatización de proceso y BI financiero (MariaDB, Python, Tableau PREP, Tableau Desktop) y es muy probable que en el 2025 inicie una segunda fase para implementar un ecosistema Big Data con MariaDB ColumStore y todo lo necesario incluido Airflow.
en mi actual trabajo no utilizamos esta herramienta, todo se hace sobre SAS Enterprise Guide, pero me interesa aprender airflow principalmente por expandir mis conocimientos en nuevas herramientas y nuevas formas de hacer las cosas, en el momento en que quiera buscar nuevas oportunidades laborales estar preparado
Particularmente, lo que hice para "orquestar" procesos y generar alertas ante fallos, es una pequeña librería que me envía emails al encontrar fallos. Sin embargo, la compañia para la que trabajo, espera implementar Airflow como herramienta sólida para orquestar ETL. Por lo anterior, mi interés.
Me gustaría aprender Apache AirFlow porque actualmente en mi trabajo estamos explorando alternativas open source para implementar flujos de procesos y orquestaciones.
En este momento estoy estudiando para ser un BI developer y creo que una herramienta que permita monitorizar procesos de ETL es supremamente importante.
Seré directo: Estoy sacando una especialización en otra plataforma (con patrocinio) y ví que el temario incluye ETL, así que busqué ETL en Platzi y heme aquí.
A mi me interesa aprender de airflow porque es la forma en la que salimos a producción en mi trabajo. Los productos de datos salen por airflow.
Excelente Giannina, ¿y ya has desplegado algún DAG en producción?
Me interesa aprenderlo porque dentro de soporte a temas de investigaciones lo requiero para hacer ejecuciones en diferentes arquitecturas (cloud, private cloud y on-premise) que poseen diferentes formas de acceso (SSH, HTTP, FTP, entre otras) y que se requieren de diversos flujos de trabajo