Orquestación de ETLs con Apache Airflow y Python en Big Data

Clase 49 de 52 • Curso de Big Data en AWS

Clase anteriorSiguiente clase

Resumen

Apache Airflow te permite automatizar y orquestar todo tu proyecto de Big Data. Algunas características importantes:

Permite crear, monitorear y orquestar flujos de trabajo.
Los pipeline son configurados usando Python.
La estructura básica dentro de Apache Airflow se llama Directed Acyclic Grap (DAG), es un colección de todas las tareas que se requieren correr con sus dependencias.

Alexander Grajales Vanegas

student•

platzi tiene un curso de airtflow?

Nicolás Neira Navarrete

student•

sería genial un curso de airflow!

Daniel Eduardo Portugal Revilla

student•

x3! ojalá haga cursos especiales por cada herramienta de Big Data, Airflow, Spark, Flink, Kafka o carreras donde englobe por batch o streaming integrado con ML, etc.

Daniel Eduardo Portugal Revilla

student•

Airflow de Zero a Hero por la Comunidad de Data Engineering LATAM

https://www.youtube.com/watch?v=a3lSQr22RN4

Juan Camilo Alvarez Jurado

student•

Se aprecia bastante el recurso. ¡Gracias!

Juan David Cajamarca Acuña

student•

Con este servicio podremos orquestar y automatizar todo un proyecto de BigData.

Características

Apache Airflow permite crear, monitorear y orquestar los flujos de trabajo.
Los Pipelines son configurados usando Python.
Es muy flexible, permite modificación de executors, operators y demás entidades dentro de Airflow. Aquí podemos utilizar scripts de bash, scripts de Python, podemos implementar emails para notificaciones, podemos integrarlo con bases de datos relacionales, a brokers como Redis, a colas, etc.
Este servicio es Open Source, por lo cual, se puede implementar en AWS de diferentes formas: trabajarlo con contenedores en AWS o trabajarlo con instancias EC2, pero la mejor opción es trabajarlo dentro de GCP, a través de un servicio llamado Cloud Composer que es una integración de Apache Airflow totalmente administrado. Esta es la mejor opción que existe en el mercado para orquestar y automatizar flujos de proyectos de BigData.

Conceptos fundamentales

DAG: Directed Acyclic Grap, es una colección de todas las tareas de las que se requiere que corran con sus dependencias y relaciones. Es así como a través del DAG podemos especificar todo un sistema de dependencias y esas dependencias se pueden ejecutar basados en diferentes sensores.
Operator: Describe una tarea que corre independiente de las otras tareas.

Iván Augusto Diaz

student•

Cuándo el curso de AIRFLOW?

Darvin Orozco

student•

Entonces ¿No existe integración de Apache AirFlow con los diferentes servicios de AWS? ¿Es mejor utilizar Airflow en GCP?

Carlos Andrés Zambrano Barrera

teacher•

SIp, podes desplegar Airflow en AWS en servicios como Ec2 o Ecs.

Darvin Orozco

student•

Gracias @czam01

Daniel Eduardo Portugal Revilla

student•

Otra buena alternativa para implementar Airflow en cloud es Astronomer.

https://www.astronomer.io/

Mario Reyes

student•

@czam01 me podrias recomendar algun producto de AWS con el cual pueda hacer trigger de mi worklow con Step Functions?

Carlos Andrés Zambrano Barrera

teacher•

Depende de tu caso de uso, el trigger puede ser un evento de cloudwatch por ejemplo... Pero dime tu caso y vemos que trigger sería el más óptimo.

Mario Reyes

student•

Hola Carlos @czam01! en mi caso debo ejecutar una serie de lambdas que ejecutan ETL (batch), Glue tiene la opción de programar la ejecución de ETL pero antes de ejecutarse quisiera validar las fuentes y si es el caso entonces disparar los estados de la stepFunction que ejecutarian de manera programática los jobs alojados en Glue. Que me recomiendas?

Usuario anónimo

user•

Apache Airflow te permite automatizar y orquestar todo tu proyecto de Big Data. Algunas características importantes:

Permite crear, monitorear y orquestar flujos de trabajo. Los pipeline son configurados usando Python. La estructura básica dentro de Apache Airflow se llama Directed Acyclic Grap (DAG), es un colección de todas las tareas que se requieren correr con sus dependencias.

Usuario anónimo

user•

Apache airflow crear, monitear y orquestar flujos de trabajo automáticamente. se usa con python

Usuario anónimo

user•

Apache Airflow is opensource, ok!!

john ct

student•

Apache Airflow bastante potente> is an open-source workflow management platform. It started at Airbnb in October 2014 as a solution to manage the company's increasingly complex workflows. Creating Airflow allowed Airbnb to programmatically author and schedule their workflows and monitor them via the built-in Airflow user interface.