⚠️ Recuerden que si quieren cambiar el puerto deben cambiar el primero que hace referencia a su maquina y no al container
...
ports:
- 8081:8080
...
Introducción a Apache Airflow
Introducción al curso
¿Para qué sirve airflow?
¿Por qué usar airflow?
Resumen módulo 1
Conceptos básicos
DAG
Tasks y Operators
Scheduler
Instalación y configuración
Instalación de Apache Airflow usando Docker
Posibles configuraciones
Variables y conexiones
Implementando un DAG
Implementando un DAG
Bash Operator
Python Operator
Definiendo dependencias entre tareas
Custom Operator
Orquestar y monitorizar procesos
Orquestando un DAG I
Orquestando un DAG II
Monitoring
Task Actions
Trigger Rules
Sensores
¿Qué son los sensores?
ExternalTaskSensor
FileSensor
Templates con Jinja
¿Qué son los templates con Jinja?
XComs
¿Qué son los Xcoms?
BranchPythonOperator
BranchPythonOperator
Proyecto
Definición del proyecto
Cierre del curso
Cierre del curso
Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
Posibles configuraciones
9/29Recursos
Aportes 8
Preguntas 6
Ordenar por:
En esta clase aprendemos de forma fundamental a cambiar el archivo airflow.cfg ubicado en el Working Directory del contenedor “Webserver” acedemos al bash del contenedor usando docker y el id esto para modificar directamente el archivo
docker exec -it tu_id bash
otra forma es usando el docker-compose.yml, si el archivo que descargamos. En este yml editamos y agregamos variables como
AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL: 100
esto para evitar que nos descargue los ejemplos de airflow y cambiar el tiempo de espera que tiene la interfaz para mostrarte los DAGs o ficheros que has creado.
adicionalmente podemos cambiar el puerto donde queremos deplegar la interfaz del airflow, aqui un pequeno cometario, como lo hace el companero R0Y3R, aqui hay que cambiar el primer puerto ya que este puerto es el que hace referencia al puerto de tu maquina local y el segundo al puerto del contenedor de docker
ports:
- 8085:8080
por ultimo, abordamos los volumenes, donde se comparten los ficheros creados en nuestra carpeta con el contenedor
volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
- ./plugins:/opt/airflow/plugins
Saludos
Instalación en ubuntu.
Debemos instalar previamente docker compose en nuestro equipo para ello puedes usar: https://www.digitalocean.com/community/tutorials/how-to-set-up-laravel-nginx-and-mysql-with-docker-compose-on-ubuntu-20-04
Luego use estos comandos para instalar:
mkdir airflow
mkdir -p ./dags ./logs ./plugins
echo -e “AIRFLOW_UID=$(id -u)” > .env
curl https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml --output docker-compose.yml
docker-compose up
Esta clase en clave, en ninguna parte de la documentación de airflow te dicen donde está la sección de configuraciones
Con esta variable AIRFLOW\_\_SCHEDULER\_\_DAG\_DIR\_LIST\_INTERVAL evito reiniciar el ariflow si he añadido dags en mi directorio actual? Es que en mi caso si creo un dag nuevo en la carpeta dag no aparece hasta que no reinicie el airflow
¿El archivo de configuración que se modifica solo es el del web server? Revisé en el scheduler y ahí también existe un airflow.cfg.
Hola, cuando inicio el contenedor de Docker todo se relentiza y hace imposible trabajar, abrir la UI de Airflow es eterno. Alguno concejo para sortear este problema?
La forma de definir la configuración es travez del archivo airflow.cfg ubicado en el Working Directory del contenedor “Webserver” y puedes pasar los parámetros a travez de Docker compose en las variables de entorno.
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?