Introducción a Apache Airflow
Introducción al curso
¿Para qué sirve airflow?
¿Por qué usar airflow?
Resumen módulo 1
Conceptos básicos
DAG
Tasks y Operators
Scheduler
Instalación y configuración
Instalación de Apache Airflow usando Docker
Posibles configuraciones
Variables y conexiones
Implementando un DAG
Implementando un DAG
Bash Operator
Python Operator
Definiendo dependencias entre tareas
Custom Operator
Orquestar y monitorizar procesos
Orquestando un DAG I
Orquestando un DAG II
Monitoring
Task Actions
Trigger Rules
Sensores
¿Qué son los sensores?
ExternalTaskSensor
FileSensor
Templates con Jinja
¿Qué son los templates con Jinja?
XComs
¿Qué son los Xcoms?
BranchPythonOperator
BranchPythonOperator
Proyecto
Definición del proyecto
Cierre del curso
Cierre del curso
Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
No se trata de lo que quieres comprar, sino de quién quieres ser. Aprovecha el precio especial.
Antes: $249
Paga en 4 cuotas sin intereses
Termina en:
Aportes 3
Preguntas 1
Saludos a todos, les comparto el proyecto que hice por si les puede servir de algo, lo único que no me ha funcionado inicialmente es el envío del email de notificación(algo pasa con la configuración de gmail, me da error de usuario y contraseña). Seguiré intentando y cuando lo tenga lo actualizo en github
Proyecto 👇:
https://github.com/pipeduke/airflowSpaceX
Comparto mi repositorio con el proyecto. En mi caso hice un pipeline en el que una tarea ejecuta un script de python que scrapea los últimos juegos lanzados en Steam y luego otra tarea se encarga de imprimir los nombres en pantalla, así como de guardarlos como archivos .JSON y .csv con la fecha actual.
https://github.com/camilogranda/airflow_steam_games
Listo el proyecto, muchas gracias a todos los que dejaron los comentarios me sirvio mucho para configurar el mail para notificar a marketing
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?