Instalación de Apache Airflow usando Docker

NO SE PUDO INSTALAR COMO EN EL VIDEO?
no se si no lo miré o que pasó pero me daba mucho error instalar el airflow
SOLUCIÓN:
Estar en un ambiente linux.
y ejecutar estos comandos:

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env
docker-compose up airflow-init
docker-compose up

**En windows **
Me funciono el comando que trae el docker-compose cambiando las comillas sencillas por dobles

curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.4.2/docker-compose.yaml"

Es importante que se tenga instalado Docker y que este corriendo es decir que Docker desktop este abierto.

Buenas!

En Windows 11 yo lo puede levantar asi.

Dentro de una carpeta vacia cree dos archivos:

• “docker-compose.yml”: Aca copie el contenido del docker-compose.
• “.env”: Agregue la siguiente linea.

AIRFLOW_UID=50000

Luego ejecute los siguiente comandos:

docker-compose up airflow-init 
docker-compose up -d

Con eso me funciono.

Saludos

para los que tengan error pegando el comando: curl -LfO ‘https://airflow.apache.org/docs/apache-airflow/2.7.1/docker-compose.yaml’ directamente en windows; a mi me funcionó ejecutandolo en la terminal de Git Bash; me salía error en powershell, pero en gitbash me corrió perfectamente.

Descargar Airflow en Windows con Docker (08-2023)

• 1 - Archivo .yaml

  curl ‘https://airflow.apache.org/docs/apache airflow/2.7.0/docker-compose.yaml’ -o ‘docker-compose.yaml’

• 2 - Crear carpetas

  mkdir ./dags ./logs ./plugins ./config

• 3 - Correr la Base de datos y crear User y su Pasword

  docker compose up airflow-init

• 4 - Correr Airflow

  docker compose up

-Nota: Escribe en tu navegador : localhost/8080

• Login
  • User: airflow
  • Password: airflow

La versión actual de la documentación, para el momento que veo el video, es 2.4.2 y ya no aparece Running airflow in Docker en el apartado de Quick Start sino en How-to guides

al final lo instalé nativo xD
a ver como me anda

En Mac OS funcionó exactamente como se muestra en el vídeo, pero, primero instalé docker desktop y después inicié la aplicación docker desktop, solo de esa manera el comando docker-compose up surgió efecto

Usar Astronomer con Docker ¿también es válido? No pude levantar el contenedor de Airflow en Docker, por ello usé Astronomer.

Vayan a la documentación de Airflow, ahí encuentran un paso a paso detallado
https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Tuve algunos contratiempos en la instalación en Windows 10, mis recomendaciones en caso de que les pase algo similar:

1. Al bajar el .yaml que indica el profe, cambien la versión del Airflow desde la lista desplegable en la parte superior izquierda, en este caso debe ser la 2.3.3 porque al día de hoy muestra por defecto la 2.5.0 y no sale igual el Quick Start.

2. Para Docker, me salían varios errores al ejecutar los comandos, opté entonces por usar la versión 4.13.0 y antes de ejecutar el .yaml abrir el Docker Desktop y luego de eso todo funcionó sin más errores siguiendo los pasos del profe, espero les sirva 😃

Hola.
En mi caso tuve que instalar el Python 3.10.11, ya que dice que no es compatible con el Python 3.11.
Por si alguien es nuevo, la consola Terminal donde se escriben los comandos en VS CODE es la Git Bash, la PowerShell o CMD no sirven.
Se diferencian porque al iniciar Git Bash encontrarás:

tu_usuario MINGW64 tu_directorio_actual
$

que es donde te pide en las guías que debes escribir los comandos.

En Windows 10:

• Instalé Docker y lo puse en ejecución.
• Creé, en la raíz de C, un directorio llamado Airflow, para el curso.
• Luego entré a Visual Studio Code.
  • Abrí una nueva terminal GitBash.
  • En la terminal me cambié de dirección hasta la carpeta Airflow.
  • Allí escribí el código:
    curl -LfO “https://airflow.apache.org/docs/apache-airflow/2.4.2/docker-compose.yaml”.
    (ojo que va con comillas dobles, gracias al aporte de arnolplazas)

• Finalmente, escribí el comando:
  docker-compose up
  Y comenzó a instalar…
  Unos doritos después, ya se puede ver en el docker que airflow está ejecutándose XD

Asi realize mi installation , cuando hago el request to download the file using CURL it shows me a time-out error, que no pude resolver.

Estoy usando wsl inside a virtual machine que accedo remotamente. La windows VM response to ping to google pero mi ubuntu -wsl no lo hace. Como ya habia utilzado docker anter en esta vm, pienso que algo en el firewall or forward proxy que monitorea mis machines blocking it ( maybe)

Asi realize mi instalacion,

[
I went to this website, link the installaion --> apache-airflow/2.6.3/docker-compose.yaml

and went to the location where I want to make the installation

1. Docker ps → to verify docker is installed and running

2. create the docker compose file

   jaicarra@jaicarra-vm2:~/airflow$ docker ps -a
   CONTAINER ID   IMAGE            COMMAND                  CREATED       STATUS                    PORTS                           NAMES
   3a95e9133555   dpage/pgadmin4   "/entrypoint.sh"         6 weeks ago   Exited (0) 43 hours ago   443/tcp, 0.0.0.0:5050->80/tcp   jaicarra-pgadmin-1
   58756a78016a   postgres:12      "docker-entrypoint.s…"   6 weeks ago   Up 43 hours               0.0.0.0:5432->5432/tcp          jaicarra-db-1
   e56ea2b0a739   ubuntu           "tail -f dev/null"       6 weeks ago   Exited (0) 3 weeks ago                                    always_up
   51ddbff192b3   ubuntu           "/bin/bash"              6 weeks ago   Exited (0) 6 weeks ago                                    romantic_mirzakhani
   43f73be6f53a   ubuntu           "/bin/bash"              6 weeks ago   Exited (0) 6 weeks ago                                    quizzical_hamilton
   jaicarra@jaicarra-vm2:~/airflow$ ls
   docker-compose.yaml 
   

1. installation —> Run the command —> docker-compose up](url)

para windows funciona con la ducumentacion link
ojo no se olviden modificar su espacio destinado para docker en mi caso le puse 5g
como se hacer ?
vas a :
disco localc >>usuarios >> nombrede tu usuario

crear un nuevo domumento tip '.wslconfig’
y copiar esto
[wsl2]

memory=5GB
processors=2

nota puedes jugar con los valores mi caso maximo puedo poner 16GB Y en processors=6 por que son las especificaciones de mi PC

para descargar el docker compose, a mi me funcionó con

curl https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml --output docker-compose.yml

Puedes instalar Airflow de la manera que más te convenga, acá tienes diferentes alternativas: https://airflow.apache.org/docs/apache-airflow/stable/installation/index.html

hice toda la instalacion genial pero me sale eso, como aria para que pueda instalar en my windows aparte de en docker?

This guide was very helpful to do the installation:

https://levelup.gitconnected.com/how-to-install-apache-airflow-with-docker-7902be3301b8

Actualizaron la documentation de Apache Airflow, los comandos para usar docker-compose ahora se encuentran en la siguiente pagina:

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html