No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Instalaci贸n de Apache Airflow usando Docker

8/29
Recursos

Aportes 19

Preguntas 9

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

**En windows **
Me funciono el comando que trae el docker-compose cambiando las comillas sencillas por dobles

curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.4.2/docker-compose.yaml"

Es importante que se tenga instalado Docker y que este corriendo es decir que Docker desktop este abierto.

NO SE PUDO INSTALAR COMO EN EL VIDEO?
no se si no lo mir茅 o que pas贸 pero me daba mucho error instalar el airflow
SOLUCI脫N:
Estar en un ambiente linux.
y ejecutar estos comandos:

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env
docker-compose up airflow-init
docker-compose up

Buenas!

En Windows 11 yo lo puede levantar asi.

Dentro de una carpeta vacia cree dos archivos:

  • 鈥渄ocker-compose.yml鈥: Aca copie el contenido del docker-compose.
  • 鈥.env鈥: Agregue la siguiente linea.
AIRFLOW_UID=50000

Luego ejecute los siguiente comandos:

docker-compose up airflow-init 
docker-compose up -d

Con eso me funciono.

Saludos

al final lo instal茅 nativo xD
a ver como me anda

La versi贸n actual de la documentaci贸n, para el momento que veo el video, es 2.4.2 y ya no aparece Running airflow in Docker en el apartado de Quick Start sino en How-to guides

para los que tengan error pegando el comando: curl -LfO 鈥https://airflow.apache.org/docs/apache-airflow/2.7.1/docker-compose.yaml鈥 directamente en windows; a mi me funcion贸 ejecutandolo en la terminal de Git Bash; me sal铆a error en powershell, pero en gitbash me corri贸 perfectamente.

Tuve algunos contratiempos en la instalaci贸n en Windows 10, mis recomendaciones en caso de que les pase algo similar:

  1. Al bajar el .yaml que indica el profe, cambien la versi贸n del Airflow desde la lista desplegable en la parte superior izquierda, en este caso debe ser la 2.3.3 porque al d铆a de hoy muestra por defecto la 2.5.0 y no sale igual el Quick Start.

  2. Para Docker, me sal铆an varios errores al ejecutar los comandos, opt茅 entonces por usar la versi贸n 4.13.0 y antes de ejecutar el .yaml abrir el Docker Desktop y luego de eso todo funcion贸 sin m谩s errores siguiendo los pasos del profe, espero les sirva 馃槂

Usar Astronomer con Docker 驴tambi茅n es v谩lido? No pude levantar el contenedor de Airflow en Docker, por ello us茅 Astronomer.

En Mac OS funcion贸 exactamente como se muestra en el v铆deo, pero, primero instal茅 docker desktop y despu茅s inici茅 la aplicaci贸n docker desktop, solo de esa manera el comando docker-compose up surgi贸 efecto

Descargar Airflow en Windows con Docker (08-2023)

  • 1 - Archivo .yaml

    curl 鈥https://airflow.apache.org/docs/apache airflow/2.7.0/docker-compose.yaml鈥 -o 鈥榙ocker-compose.yaml鈥

  • 2 - Crear carpetas

    mkdir ./dags ./logs ./plugins ./config

  • 3 - Correr la Base de datos y crear User y su Pasword

    docker compose up airflow-init

  • 4 - Correr Airflow

    docker compose up

-Nota: Escribe en tu navegador : localhost/8080

  • Login
    • User: airflow
    • Password: airflow

Vayan a la documentaci贸n de Airflow, ah铆 encuentran un paso a paso detallado
https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Asi realize mi installation , cuando hago el request to download the file using CURL it shows me a time-out error, que no pude resolver.

Estoy usando wsl inside a virtual machine que accedo remotamente. La windows VM response to ping to google pero mi ubuntu -wsl no lo hace. Como ya habia utilzado docker anter en esta vm, pienso que algo en el firewall or forward proxy que monitorea mis machines blocking it ( maybe)

Asi realize mi instalacion,

[
I went to this website, link the installaion --> apache-airflow/2.6.3/docker-compose.yaml

and went to the location where I want to make the installation

  1. Docker ps 鈫 to verify docker is installed and running

  2. create the docker compose file

    jaicarra@jaicarra-vm2:~/airflow$ docker ps -a
    CONTAINER ID   IMAGE            COMMAND                  CREATED       STATUS                    PORTS                           NAMES
    3a95e9133555   dpage/pgadmin4   "/entrypoint.sh"         6 weeks ago   Exited (0) 43 hours ago   443/tcp, 0.0.0.0:5050->80/tcp   jaicarra-pgadmin-1
    58756a78016a   postgres:12      "docker-entrypoint.s鈥"   6 weeks ago   Up 43 hours               0.0.0.0:5432->5432/tcp          jaicarra-db-1
    e56ea2b0a739   ubuntu           "tail -f dev/null"       6 weeks ago   Exited (0) 3 weeks ago                                    always_up
    51ddbff192b3   ubuntu           "/bin/bash"              6 weeks ago   Exited (0) 6 weeks ago                                    romantic_mirzakhani
    43f73be6f53a   ubuntu           "/bin/bash"              6 weeks ago   Exited (0) 6 weeks ago                                    quizzical_hamilton
    jaicarra@jaicarra-vm2:~/airflow$ ls
    docker-compose.yaml 
    

  1. installation 鈥> Run the command 鈥> docker-compose up](url)

para windows funciona con la ducumentacion link
ojo no se olviden modificar su espacio destinado para docker en mi caso le puse 5g
como se hacer ?
vas a :
disco localc >>usuarios >> nombrede tu usuario

crear un nuevo domumento tip '.wslconfig鈥
y copiar esto
[wsl2]


memory=5GB
processors=2

nota puedes jugar con los valores mi caso maximo puedo poner 16GB Y en processors=6 por que son las especificaciones de mi PC

para descargar el docker compose, a mi me funcion贸 con

curl https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml --output docker-compose.yml

Puedes instalar Airflow de la manera que m谩s te convenga, ac谩 tienes diferentes alternativas: https://airflow.apache.org/docs/apache-airflow/stable/installation/index.html

Hola.
En mi caso tuve que instalar el Python 3.10.11, ya que dice que no es compatible con el Python 3.11.
Por si alguien es nuevo, la consola Terminal donde se escriben los comandos en VS CODE es la Git Bash, la PowerShell o CMD no sirven.
Se diferencian porque al iniciar Git Bash encontrar谩s:

tu_usuario MINGW64 tu_directorio_actual
$

que es donde te pide en las gu铆as que debes escribir los comandos.


hice toda la instalacion genial pero me sale eso, como aria para que pueda instalar en my windows aparte de en docker?

Actualizaron la documentation de Apache Airflow, los comandos para usar docker-compose ahora se encuentran en la siguiente pagina:

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html