Orquestación de ETLs con Apache Airflow y Python en Big Data

Clase 49 de 52 • Curso de Big Data en AWS

Clase anteriorSiguiente clase

Resumen

Apache Airflow te permite automatizar y orquestar todo tu proyecto de Big Data. Algunas características importantes:

  • Permite crear, monitorear y orquestar flujos de trabajo.
  • Los pipeline son configurados usando Python.
  • La estructura básica dentro de Apache Airflow se llama Directed Acyclic Grap (DAG), es un colección de todas las tareas que se requieren correr con sus dependencias.