A mi me interesa aprender de airflow porque es la forma en la que salimos a producción en mi trabajo. Los productos de datos salen por airflow. Saberlo manejar mejor creo que a todos no va a servir para potencializar nuestro impacto
Introducción a Apache Airflow
Introducción al curso
¿Para qué sirve airflow?
¿Por qué usar airflow?
Resumen módulo 1
Conceptos básicos
DAG
Tasks y Operators
Scheduler
Instalación y configuración
Instalación de Apache Airflow usando Docker
Posibles configuraciones
Variables y conexiones
Implementando un DAG
Implementando un DAG
Bash Operator
Python Operator
Definiendo dependencias entre tareas
Custom Operator
Orquestar y monitorizar procesos
Orquestando un DAG I
Orquestando un DAG II
Monitoring
Task Actions
Trigger Rules
Sensores
¿Qué son los sensores?
ExternalTaskSensor
FileSensor
Templates con Jinja
¿Qué son los templates con Jinja?
XComs
¿Qué son los Xcoms?
BranchPythonOperator
BranchPythonOperator
Proyecto
Definición del proyecto
Cierre del curso
Cierre del curso
Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
No se trata de lo que quieres comprar, sino de quién quieres ser. Aprovecha el precio especial.
Antes: $249
$209
Paga en 4 cuotas sin intereses
Termina en:
14 Días
15 Hrs
45 Min
12 Seg
¿Por qué usar airflow?
3/29Recursos
Aportes 24
Preguntas 0
Ordenar por:
Me interesa aprender AirFlow porque allá afuera es el estándar. Y aparte de la documentación, hay pocos cursos o recursos de entrenamiento. Este curso vino como anillo al dedo a todos los perfiles de data en formación (en especial a los data Engineers).
En mi caso porque estoy transitando de Data Analyst a Data Engineer, y en la arquitectura del proyecto que voy a comenzar se está requiriendo Apache Airflow para construir un ETL.
a mi me interesa especialmente porque tengo varios procesos de ETL que fui armando pero no estan automatizados, y la verdad porque me gusta bastante la ingenieria de datos
Es correcto, reviso más Airflow que el mail, leer log y hacer pruebas en Airflow ocupa un porcentaje importante de mi día.
Como Ingeniero BI y de datos siempre es bueno estar a la vanguardia de las ultimas tecnologias. Hace poco un proyecto potencial que usa la herramienta despertó mi curiosidad y me pareció interesante aprenderla.
yo quiero aprender porque lo necesito para un proyecto q lo tengo q entregar en unas horas. jaja bueno no. solo quiero automatizar un flujo de trabajo…
En mi trabajo la evolución ha sido:
- Programas batch en Java.
- QlikView.
- Power BI.
- Pentaho Data Integration (PDI).
Inevitablemente, acabas llegando a Python y al workflow. He automatizado en jobs de PDI scripts en Python (de manera síncrona), pero comienzan a surgir nuevas necesidades y complejidades en esta “capa de la cebolla”, como carga de procesador, etc.
Solución para organizar el workflow: Apache Airflow, por supuesto!!! 😃
En mi caso por que voy a comenzar un nuevo puesto de Business Analyst, y sé que utílizan Astronomer, qué es una empresa que fácilita el uso de Airflow con una interfáz simple y algunas funcionalidades extra, y quiero ver el alcance de como funciona.
Yo quiero aprender apache porque justo entre a un trabajo en el que utilizan apache airflow para orquestar los etls. Así que quiero aprenderlo antes de terminar el onboarding para entrar con todo a la chamba.
Soy Data Engineer para una empresa llamada ClarityAI y Airflow es el backbone de todos nuestro procesos. Airflow y Docker para gestionar las ETLs, vine al curso a validar si me faltaban cosas por aprender o incluir a mi procesos
A mi me interesa aprender de airflow porque es la forma en la que salimos a producción en mi trabajo. Los productos de datos salen por airflow.
Me interesa aprender esta tecnologia, por la razon de quien no evoluciona esta destinado a extinguirse, hágase el simil a tecnologia.
Se ve muy buena esta herramienta, y ya habiendo trabajo en el curso de MLOps de platzi, con creacion de flujos CI/CD, he entendido lo potente que pueden ser herramiendas como DVC y otras.
Lo usaremos o no en nuestro proximo trabajo, quizas si o quizas no, pero igual mantenerse actualizado en tecnologias siempre es bueno a nivel general.
Me gustaria eso si, un curso de Kubeflow, ya que a mi me suena un poquito mas interesante que esta herramienta.
~ Por cierto, ya conectamos en LinkedIn? ~
Conectemos en LinkedIn, GitHub, Medium o Redes sociales
en mi actual trabajo no utilizamos esta herramienta, todo se hace sobre SAS Enterprise Guide, pero me interesa aprender airflow principalmente por expandir mis conocimientos en nuevas herramientas y nuevas formas de hacer las cosas, en el momento en que quiera buscar nuevas oportunidades laborales estar preparado
Me interesa aprenderlo porque dentro de soporte a temas de investigaciones lo requiero para hacer ejecuciones en diferentes arquitecturas (cloud, private cloud y on-premise) que poseen diferentes formas de acceso (SSH, HTTP, FTP, entre otras) y que se requieren de diversos flujos de trabajo
Usar **Apache Airflow** es una decisión estratégica en proyectos de análisis de datos, automatización y orquestación de flujos de trabajo por las siguientes razones:
### **1. Escalabilidad**
* Airflow está diseñado para entornos de producción en los que las cargas de trabajo pueden crecer rápidamente.
* Puede ejecutarse en una arquitectura distribuida, gestionando miles de tareas simultáneamente.
### **2. Flexibilidad**
* Los flujos de trabajo (DAGs) se definen en Python, lo que permite gran personalización y la integración con bibliotecas existentes.
* Ofrece soporte para tareas dinámicas y dependencias complejas.
### **3. Orquestación avanzada**
* Permite gestionar dependencias entre tareas, asegurando que cada paso del flujo se ejecute en el orden adecuado.
* Soporta reintentos automáticos, pausas, o reanudaciones en caso de fallos.
### **4. Programación de tareas**
* Ofrece una programación avanzada, desde tareas diarias simples hasta ejecuciones complejas como "el tercer martes de cada mes" o "el último día hábil del trimestre".
### **5. Monitoreo y visualización**
* Incluye una interfaz gráfica intuitiva para:
* Monitorear el estado de las tareas.
* Reejecutar tareas fallidas.
* Analizar dependencias y duración de los flujos.
### **6. Integración con múltiples tecnologías**
* Airflow tiene operadores predefinidos para integrarse con herramientas populares:
* Bases de datos (MySQL, PostgreSQL, etc.).
* Servicios en la nube (AWS, Google Cloud, Azure).
* Procesos de Big Data (Hadoop, Spark).
* APIs personalizadas y scripts locales.
### **7. Mantenimiento de historial**
* Conserva un registro detallado de las ejecuciones pasadas, facilitando auditorías y análisis de desempeño.
### **8. Comunidad activa y soporte**
* Es una herramienta de código abierto con una comunidad amplia y recursos de soporte.
* Frecuentes actualizaciones que mejoran su funcionalidad y estabilidad.
### **9. Evita la "codificación manual" de flujos**
* Sin Airflow, es común tener scripts individuales que se ejecutan manualmente o mediante crons, lo que puede volverse inmanejable.
* Airflow centraliza la definición y gestión de todos los flujos, reduciendo la complejidad y el riesgo de errores.
### **10. Casos de uso típicos**
* **ETL y ELT:** Automatizar extracción, transformación y carga de datos.
* **Pipelines de Machine Learning:** Orquestar procesos como preprocesamiento, entrenamiento y evaluación de modelos.
* **Procesos de negocio repetitivos:** Generación de reportes financieros, sincronización de datos.
* **Gestión de Big Data:** Ejecutar y monitorear procesos en clústeres de datos.
**En resumen:** Usar Airflow es ideal cuando necesitas una herramienta confiable, escalable y flexible para orquestar tareas y flujos complejos, reduciendo la carga operativa y mejorando la eficiencia de tu proyecto.
en mi trabajo la nueva gestion lo estaba utilizando en otro lugar y les parece importante, por lo que vi es n orquestador cuyas tareas venimos implementando con otras herramientas ya adquiridas sin inconvenientes, pero siempre es importante conocer alternativas.
Particularmente, lo que hice para "orquestar" procesos y generar alertas ante fallos, es una pequeña librería que me envía emails al encontrar fallos. Sin embargo, la compañia para la que trabajo, espera implementar Airflow como herramienta sólida para orquestar ETL. Por lo anterior, mi interés.
Me interesa conocer más sobre Airflow ya que es una herramienta muy escuchada en la Ingeniería de datos, actualmente trabajo con Databricks y me encuentro realizando una orquestación de mi ingesta de datos. Vi que si se puede implementar Airflow en Databricks, así que este curso introductorio me viene como anillo al dedo 😊
Me gustaría aprender Apache AirFlow porque actualmente en mi trabajo lo necesito para implementar nuevos flujos de datos y estamos explorando alternativas.
Me interesa aprender Airflow por 2 razones:
1- En mi empleo lo vamos a utilizar dentro de GCP (Cloud Composer), para orquestar las extracciones de datos
2- Quiero certificarme en Airflow, para mejorar más mi perfil y poderlo usar en proyectos de Ingeniería de datos
Tengo interes en AirFlow porque quiero saber si puedo utilizarlo para la orquestacion de procesos de negocio de alta complejidad y/o el deploy de aplicaciones
Me interesa aprender airflow, por que quiero tomar el path de data engineer ya que en mi vida laboral es lo que mas he usado, datos, y honestamente creo que este tipo de soliciones pueden hacer crecer muchas areas en las que estoy ahora involucrado.
Trabajo como Cientifico de datos, pero estoy en un proyecto donde estoy como ingeniero de datos y data analyst. Me parece una buena oportunidad para expandir mis conocimientos en temas de analítica.
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?