Contenido del curso
Conceptos básicos
Instalación y configuración
Implementando un DAG
Orquestar y monitorizar procesos
Sensores
Templates con Jinja
XComs
BranchPythonOperator
Proyecto
Cierre del curso
¿Por qué usar airflow?
Contenido del curso
¿Por qué usar airflow?
Andres Insuasty
EstudianteMi Chu
EstudianteIsay Humberto Lucas Hernandez
EstudianteEric Bellet
ProfesorJuan Sebastián Vargas Castañeda
EstudianteEric Bellet
ProfesorLeandro Gabriel Kategora
EstudianteEric Bellet
ProfesorLeonardo Carvallo
EstudianteFlavio Mamani conde
EstudianteFreddy Norberto Montañez Gordillo
EstudianteEric Bellet
ProfesorDaniel da Silva Jarque
EstudiantePatricia Velazquez
EstudianteJuan Antonio Aramburo Pasapera
EstudianteJose Colmenares
EstudianteEric Bellet
ProfesorAlfonso Andres Zapata Guzman
EstudianteLuis Ernesto Domínguez Velásquez
EstudianteRuben Dario Toro Gutierrez
EstudianteCamilo Corredor
EstudianteRandy José Agustín Montenegro Socha
EstudianteLuis Ochoa
EstudianteEzequiel Vásquez
EstudianteGiannina Stefania Baccelliere Mancilla
EstudianteEric Bellet
ProfesorCésar Vega
EstudianteA mi me interesa aprender de airflow porque es la forma en la que salimos a producción en mi trabajo. Los productos de datos salen por airflow. Saberlo manejar mejor creo que a todos no va a servir para potencializar nuestro impacto
En las vacantes de data (cualquier rol) piden tanto airflow como spark 🙌
Me interesa aprender AirFlow porque allá afuera es el estándar. Y aparte de la documentación, hay pocos cursos o recursos de entrenamiento. Este curso vino como anillo al dedo a todos los perfiles de data en formación (en especial a los data Engineers).
Totalmente de acuerdo Isay!
En mi caso porque estoy transitando de Data Analyst a Data Engineer, y en la arquitectura del proyecto que voy a comenzar se está requiriendo Apache Airflow para construir un ETL.
Genial Juan, esa transición es muy interesante porque vas a tener las 2 visiones
a mi me interesa especialmente porque tengo varios procesos de ETL que fui armando pero no estan automatizados, y la verdad porque me gusta bastante la ingenieria de datos
Seguro te va a ser de mucha utilidad!
Es correcto, reviso más Airflow que el mail, leer log y hacer pruebas en Airflow ocupa un porcentaje importante de mi día.
yo quiero aprender porque lo necesito para un proyecto q lo tengo q entregar en unas horas. jaja bueno no. solo quiero automatizar un flujo de trabajo...
Como Ingeniero BI y de datos siempre es bueno estar a la vanguardia de las ultimas tecnologias. Hace poco un proyecto potencial que usa la herramienta despertó mi curiosidad y me pareció interesante aprenderla.
Y seguramente te la seguirás encontrando
En mi trabajo la evolución ha sido:
Inevitablemente, acabas llegando a Python y al workflow. He automatizado en jobs de PDI scripts en Python (de manera síncrona), pero comienzan a surgir nuevas necesidades y complejidades en esta “capa de la cebolla”, como carga de procesador, etc.
Solución para organizar el workflow: Apache Airflow, por supuesto!!! 😃
En mi caso por que voy a comenzar un nuevo puesto de Business Analyst, y sé que utílizan Astronomer, qué es una empresa que fácilita el uso de Airflow con una interfáz simple y algunas funcionalidades extra, y quiero ver el alcance de como funciona.
Yo quiero aprender apache porque justo entre a un trabajo en el que utilizan apache airflow para orquestar los etls. Así que quiero aprenderlo antes de terminar el onboarding para entrar con todo a la chamba.
Soy Data Engineer para una empresa llamada ClarityAI y Airflow es el backbone de todos nuestro procesos. Airflow y Docker para gestionar las ETLs, vine al curso a validar si me faltaban cosas por aprender o incluir a mi procesos
Espero que puedas aprender algo nuevo :)
Me interesa aprender esta tecnologia, por la razon de quien no evoluciona esta destinado a extinguirse, hágase el simil a tecnologia.
Se ve muy buena esta herramienta, y ya habiendo trabajo en el curso de MLOps de platzi, con creacion de flujos CI/CD, he entendido lo potente que pueden ser herramiendas como DVC y otras.
Lo usaremos o no en nuestro proximo trabajo, quizas si o quizas no, pero igual mantenerse actualizado en tecnologias siempre es bueno a nivel general.
Me gustaria eso si, un curso de Kubeflow, ya que a mi me suena un poquito mas interesante que esta herramienta.
~ Por cierto, ya conectamos en LinkedIn? ~
Conectemos en LinkedIn, GitHub, Medium o Redes sociales
A mi me interesa aprender Airflow porque hace 4 años que he incursionado en el mundo de los datos como Analista de Datos, algo de Científico de Datos y en este último semestre de 2024 realicé una consultoría de automatización de proceso y BI financiero (MariaDB, Python, Tableau PREP, Tableau Desktop) y es muy probable que en el 2025 inicie una segunda fase para implementar un ecosistema Big Data con MariaDB ColumStore y todo lo necesario incluido Airflow.
en mi actual trabajo no utilizamos esta herramienta, todo se hace sobre SAS Enterprise Guide, pero me interesa aprender airflow principalmente por expandir mis conocimientos en nuevas herramientas y nuevas formas de hacer las cosas, en el momento en que quiera buscar nuevas oportunidades laborales estar preparado
Particularmente, lo que hice para "orquestar" procesos y generar alertas ante fallos, es una pequeña librería que me envía emails al encontrar fallos. Sin embargo, la compañia para la que trabajo, espera implementar Airflow como herramienta sólida para orquestar ETL. Por lo anterior, mi interés.
Me gustaría aprender Apache AirFlow porque actualmente en mi trabajo estamos explorando alternativas open source para implementar flujos de procesos y orquestaciones.
En este momento estoy estudiando para ser un BI developer y creo que una herramienta que permita monitorizar procesos de ETL es supremamente importante.
Seré directo: Estoy sacando una especialización en otra plataforma (con patrocinio) y ví que el temario incluye ETL, así que busqué ETL en Platzi y heme aquí.
A mi me interesa aprender de airflow porque es la forma en la que salimos a producción en mi trabajo. Los productos de datos salen por airflow.
Excelente Giannina, ¿y ya has desplegado algún DAG en producción?
Me interesa aprenderlo porque dentro de soporte a temas de investigaciones lo requiero para hacer ejecuciones en diferentes arquitecturas (cloud, private cloud y on-premise) que poseen diferentes formas de acceso (SSH, HTTP, FTP, entre otras) y que se requieren de diversos flujos de trabajo