Definición del proyecto
Contenido del curso
Conceptos básicos
Instalación y configuración
Implementando un DAG
Orquestar y monitorizar procesos
Sensores
Templates con Jinja
XComs
BranchPythonOperator
Proyecto
Cierre del curso
Definición del proyecto
Contenido del curso
Definición del proyecto
Felipe Duque
Estudiante
Jhonathan Segura
Estudiante
Camilo Granda Gómez
EstudianteCamilo Granda Gómez
Estudiante
Alfonso Andres Zapata Guzman
EstudianteCamilo Granda Gómez
Estudiante
Emilio Nicolás Mendoza Patti
Estudiante
Héctor Javier Herrera Espínola
Estudiante
Eric Bellet
ProfesorSaludos a todos, les comparto el proyecto que hice por si les puede servir de algo, lo único que no me ha funcionado inicialmente es el envío del email de notificación(algo pasa con la configuración de gmail, me da error de usuario y contraseña). Seguiré intentando y cuando lo tenga lo actualizo en github
Proyecto 👇: https://github.com/pipeduke/airflowSpaceX
Felipe, muchas gracias por tu aporte. Me a sido de gran ayuda durante la creación de mi proyecto. Con respecto al tema del correo, se debe realizar una modificación en el archivo airflow.cfg para colocar las credenciales del email que se usara, así mismo el habilitar un token en Google Authenticator. Te invito a ver mi repositorio para que puedas orientarte si tienes dudas. https://github.com/segurajhona/airflow-space-exploration
Exacto. Se debe generar una contraseña para aplicaciones en nuestra cuenta de Gmail y se debe poner, junto a nuestro usuario de gmail, en el archivo airflow.cfg. Aquí se explica paso a paso: https://naiveskill.com/send-email-from-airflow/
Comparto mi repositorio con el proyecto. En mi caso hice un pipeline en el que una tarea ejecuta un script de python que scrapea los últimos juegos lanzados en Steam y luego otra tarea se encarga de imprimir los nombres en pantalla, así como de guardarlos como archivos .JSON y .csv con la fecha actual. https://github.com/camilogranda/airflow_steam_games
Suena muy bien tu proyecto, el detalle es que subiste cosas que no deberias a github, usa el .gitignore para evitar esto, ya que a futuro pudieras subir credenciales de algun servicio en la nube o similar.
Hola, Alfonso. Muchas gracias por tu feedback. Es cierto, creo recordar que tuve ese problema manejando algunas credenciales y la verdad no sé porqué no usé gitignore, jajaja. Un saludo.
Listo el proyecto, muchas gracias a todos los que dejaron los comentarios me sirvio mucho para configurar el mail para notificar a marketing
Buenas, una consulta. Para programar tareas, al momento de la ejecución previamente programada debe estar corriendo el programa? Sea la imagen de docker o el programa en Python?
Al momento de definir el código, no. Luego cuando se ejecuta, sí