Definición del proyecto

Clase 27 de 29 • Curso de Fundamentos de Apache Airflow

Felipe Duque

student•

Saludos a todos, les comparto el proyecto que hice por si les puede servir de algo, lo único que no me ha funcionado inicialmente es el envío del email de notificación(algo pasa con la configuración de gmail, me da error de usuario y contraseña). Seguiré intentando y cuando lo tenga lo actualizo en github

Proyecto 👇: https://github.com/pipeduke/airflowSpaceX

Jhonathan Segura

student•

Felipe, muchas gracias por tu aporte. Me a sido de gran ayuda durante la creación de mi proyecto. Con respecto al tema del correo, se debe realizar una modificación en el archivo airflow.cfg para colocar las credenciales del email que se usara, así mismo el habilitar un token en Google Authenticator. Te invito a ver mi repositorio para que puedas orientarte si tienes dudas. https://github.com/segurajhona/airflow-space-exploration

Camilo Granda Gómez

student•

Exacto. Se debe generar una contraseña para aplicaciones en nuestra cuenta de Gmail y se debe poner, junto a nuestro usuario de gmail, en el archivo airflow.cfg. Aquí se explica paso a paso: https://naiveskill.com/send-email-from-airflow/

Camilo Granda Gómez

student•

Comparto mi repositorio con el proyecto. En mi caso hice un pipeline en el que una tarea ejecuta un script de python que scrapea los últimos juegos lanzados en Steam y luego otra tarea se encarga de imprimir los nombres en pantalla, así como de guardarlos como archivos .JSON y .csv con la fecha actual. https://github.com/camilogranda/airflow_steam_games

Alfonso Andres Zapata Guzman

student•

Suena muy bien tu proyecto, el detalle es que subiste cosas que no deberias a github, usa el .gitignore para evitar esto, ya que a futuro pudieras subir credenciales de algun servicio en la nube o similar.

Camilo Granda Gómez

student•

Hola, Alfonso. Muchas gracias por tu feedback. Es cierto, creo recordar que tuve ese problema manejando algunas credenciales y la verdad no sé porqué no usé gitignore, jajaja. Un saludo.

Emilio Nicolás Mendoza Patti

student•

Listo el proyecto, muchas gracias a todos los que dejaron los comentarios me sirvio mucho para configurar el mail para notificar a marketing

Héctor Javier Herrera Espínola

student•

Buenas, una consulta. Para programar tareas, al momento de la ejecución previamente programada debe estar corriendo el programa? Sea la imagen de docker o el programa en Python?

Eric Bellet

teacher•

Al momento de definir el código, no. Luego cuando se ejecuta, sí

Definición del proyecto

Introducción a Apache Airflow

Introducción al curso

¿Para qué sirve airflow?

¿Por qué usar airflow?

Resumen módulo 1

Conceptos básicos

DAG

Tasks y Operators

Scheduler

Instalación y configuración

Instalación de Apache Airflow usando Docker

Posibles configuraciones

Variables y conexiones

Implementando un DAG

Implementando un DAG

Bash Operator

Python Operator

Definiendo dependencias entre tareas

Custom Operator

Orquestar y monitorizar procesos

Orquestando un DAG I

Orquestando un DAG II

Monitoring

Task Actions

Trigger Rules

Sensores

¿Qué son los sensores?

ExternalTaskSensor

FileSensor

Templates con Jinja

¿Qué son los templates con Jinja?

XComs

¿Qué son los Xcoms?

BranchPythonOperator

BranchPythonOperator

Proyecto

Definición del proyecto

Cierre del curso

Cierre del curso

Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate