Definición del proyecto
Clase 27 de 29 • Curso de Fundamentos de Apache Airflow
Contenido del curso
Felipe Duque
student•
hace 3 años
Jhonathan Segura
student•
hace 3 años
Camilo Granda Gómez
student•
hace 3 años
Clase 27 de 29 • Curso de Fundamentos de Apache Airflow
Contenido del curso
Felipe Duque
Jhonathan Segura
Camilo Granda Gómez
Camilo Granda Gómez
Alfonso Andres Zapata Guzman
Camilo Granda Gómez
Emilio Nicolás Mendoza Patti
Héctor Javier Herrera Espínola
Eric Bellet
Saludos a todos, les comparto el proyecto que hice por si les puede servir de algo, lo único que no me ha funcionado inicialmente es el envío del email de notificación(algo pasa con la configuración de gmail, me da error de usuario y contraseña). Seguiré intentando y cuando lo tenga lo actualizo en github
Proyecto 👇: https://github.com/pipeduke/airflowSpaceX
Felipe, muchas gracias por tu aporte. Me a sido de gran ayuda durante la creación de mi proyecto. Con respecto al tema del correo, se debe realizar una modificación en el archivo airflow.cfg para colocar las credenciales del email que se usara, así mismo el habilitar un token en Google Authenticator. Te invito a ver mi repositorio para que puedas orientarte si tienes dudas. https://github.com/segurajhona/airflow-space-exploration
Exacto. Se debe generar una contraseña para aplicaciones en nuestra cuenta de Gmail y se debe poner, junto a nuestro usuario de gmail, en el archivo airflow.cfg. Aquí se explica paso a paso: https://naiveskill.com/send-email-from-airflow/
Comparto mi repositorio con el proyecto. En mi caso hice un pipeline en el que una tarea ejecuta un script de python que scrapea los últimos juegos lanzados en Steam y luego otra tarea se encarga de imprimir los nombres en pantalla, así como de guardarlos como archivos .JSON y .csv con la fecha actual. https://github.com/camilogranda/airflow_steam_games
Suena muy bien tu proyecto, el detalle es que subiste cosas que no deberias a github, usa el .gitignore para evitar esto, ya que a futuro pudieras subir credenciales de algun servicio en la nube o similar.
Hola, Alfonso. Muchas gracias por tu feedback. Es cierto, creo recordar que tuve ese problema manejando algunas credenciales y la verdad no sé porqué no usé gitignore, jajaja. Un saludo.
Listo el proyecto, muchas gracias a todos los que dejaron los comentarios me sirvio mucho para configurar el mail para notificar a marketing
Buenas, una consulta. Para programar tareas, al momento de la ejecución previamente programada debe estar corriendo el programa? Sea la imagen de docker o el programa en Python?
Al momento de definir el código, no. Luego cuando se ejecuta, sí