No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Instalaci贸n de Apache Airflow usando Docker

8/29
Recursos

Aportes 30

Preguntas 9

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

NO SE PUDO INSTALAR COMO EN EL VIDEO?
no se si no lo mir茅 o que pas贸 pero me daba mucho error instalar el airflow
SOLUCI脫N:
Estar en un ambiente linux.
y ejecutar estos comandos:

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env
docker-compose up airflow-init
docker-compose up

**En windows **
Me funciono el comando que trae el docker-compose cambiando las comillas sencillas por dobles

curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.4.2/docker-compose.yaml"

Es importante que se tenga instalado Docker y que este corriendo es decir que Docker desktop este abierto.

Buenas!

En Windows 11 yo lo puede levantar asi.

Dentro de una carpeta vacia cree dos archivos:

  • 鈥渄ocker-compose.yml鈥: Aca copie el contenido del docker-compose.
  • 鈥.env鈥: Agregue la siguiente linea.
AIRFLOW_UID=50000

Luego ejecute los siguiente comandos:

docker-compose up airflow-init 
docker-compose up -d

Con eso me funciono.

Saludos

para los que tengan error pegando el comando: curl -LfO 鈥https://airflow.apache.org/docs/apache-airflow/2.7.1/docker-compose.yaml鈥 directamente en windows; a mi me funcion贸 ejecutandolo en la terminal de Git Bash; me sal铆a error en powershell, pero en gitbash me corri贸 perfectamente.

La versi贸n actual de la documentaci贸n, para el momento que veo el video, es 2.4.2 y ya no aparece Running airflow in Docker en el apartado de Quick Start sino en How-to guides

Les comparto el link del video que me sirvio para la instalaci贸n de Airflow en Docker : <https://www.youtube.com/watch?v=Sva8rDtlWi4>

al final lo instal茅 nativo xD
a ver como me anda

Descargar Airflow en Windows con Docker (08-2023)

  • 1 - Archivo .yaml

    curl 鈥https://airflow.apache.org/docs/apache airflow/2.7.0/docker-compose.yaml鈥 -o 鈥榙ocker-compose.yaml鈥

  • 2 - Crear carpetas

    mkdir ./dags ./logs ./plugins ./config

  • 3 - Correr la Base de datos y crear User y su Pasword

    docker compose up airflow-init

  • 4 - Correr Airflow

    docker compose up

-Nota: Escribe en tu navegador : localhost/8080

  • Login
    • User: airflow
    • Password: airflow

En Mac OS funcion贸 exactamente como se muestra en el v铆deo, pero, primero instal茅 docker desktop y despu茅s inici茅 la aplicaci贸n docker desktop, solo de esa manera el comando docker-compose up surgi贸 efecto

Usar Astronomer con Docker 驴tambi茅n es v谩lido? No pude levantar el contenedor de Airflow en Docker, por ello us茅 Astronomer.

Ahora en junio del 2024 los comandos est谩n en [How-to Guides](https://airflow.apache.org/docs/apache-airflow/stable/howto/index.html). <https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html> Utilic茅 Windows, WSL con ubuntu, del curso de Docker [<u>https://platzi.com/new-home/clases/2066-docker/32841-bienvenida-al-curso/</u>](https://platzi.com/new-home/clases/2066-docker/32841-bienvenida-al-curso/) Ahora hay otra versi贸n. primero puse el comando curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.9.1/docker-compose.yaml' en LfO es "O" may煤scula ,no un cero. Luego ejecut茅 los comandos que puso un compa帽ero porque los de la clase no me sal铆a el logueo ```js mkdir -p ./dags ./logs ./plugins echo -e "AIRFLOW_UID=$(id -u)" > .env docker-compose up airflow-init docker-compose up ```As铆 dio todo bien como figura en la documentaci贸n

Vayan a la documentaci贸n de Airflow, ah铆 encuentran un paso a paso detallado
https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Tuve algunos contratiempos en la instalaci贸n en Windows 10, mis recomendaciones en caso de que les pase algo similar:

  1. Al bajar el .yaml que indica el profe, cambien la versi贸n del Airflow desde la lista desplegable en la parte superior izquierda, en este caso debe ser la 2.3.3 porque al d铆a de hoy muestra por defecto la 2.5.0 y no sale igual el Quick Start.

  2. Para Docker, me sal铆an varios errores al ejecutar los comandos, opt茅 entonces por usar la versi贸n 4.13.0 y antes de ejecutar el .yaml abrir el Docker Desktop y luego de eso todo funcion贸 sin m谩s errores siguiendo los pasos del profe, espero les sirva 馃槂

Oigan 驴y si no lo instal茅 dentro de una capeta, si no que en el mismo Home? 驴Tengo que desinstalar y volver a instalar o no hay problema si lo dejo as铆? No me fij茅 hasta que lo estaba instalando ya.
Me genero error de permisos en ubuntu y lo pude levantar con el comando: sudo docker-compose up airflow-init
es normal que despues de hacer los comandos me aparezca tantas lineas de comando por 1 hora? demora mucha la instalaci贸n?![](https://static.platzi.com/media/user_upload/image-9789b684-3c71-4036-8e44-723d7efa60c0.jpg)![]()```js ```
Hola! no estou pudiendo acceder al entorno web. Los contendeores quedan en starting, ya prob茅 varias posibles soluciones y ninguna funciona ![](https://static.platzi.com/media/user_upload/image-fa4223f0-49ff-4c75-9a06-ffeb533e32de.jpg)![](https://static.platzi.com/media/user_upload/image-a86e33b7-bc28-4ef7-b0dd-8d9fb5b9ca6b.jpg)![](https://static.platzi.com/media/user_upload/image-36190380-4846-4142-bc2e-122f0fafd48a.jpg)![](https://static.platzi.com/media/user_upload/image-63de29d7-f30e-4386-aa67-a412cafafefd.jpg)![](https://static.platzi.com/media/user_upload/image-249e6083-f4bd-45c0-a42d-196502a67eac.jpg)![](https://static.platzi.com/media/user_upload/image-f44dfa17-dd01-49e5-9c36-491735f6b359.jpg)![](https://static.platzi.com/media/user_upload/image-862761f5-baa1-4436-8f6e-f33dc71124b9.jpg)![]()

Hola.
En mi caso tuve que instalar el Python 3.10.11, ya que dice que no es compatible con el Python 3.11.
Por si alguien es nuevo, la consola Terminal donde se escriben los comandos en VS CODE es la Git Bash, la PowerShell o CMD no sirven.
Se diferencian porque al iniciar Git Bash encontrar谩s:

tu_usuario MINGW64 tu_directorio_actual
$

que es donde te pide en las gu铆as que debes escribir los comandos.

En Windows 10:

  • Instal茅 Docker y lo puse en ejecuci贸n.
  • Cre茅, en la ra铆z de C, un directorio llamado Airflow, para el curso.
  • Luego entr茅 a Visual Studio Code.
  • Finalmente, escrib铆 el comando:
    docker-compose up
    Y comenz贸 a instalar鈥
    Unos doritos despu茅s, ya se puede ver en el docker que airflow est谩 ejecut谩ndose XD
Recuerden que las versiones modernas de docker, ya vienen con docker compose. docker compose up -d

Asi realize mi installation , cuando hago el request to download the file using CURL it shows me a time-out error, que no pude resolver.

Estoy usando wsl inside a virtual machine que accedo remotamente. La windows VM response to ping to google pero mi ubuntu -wsl no lo hace. Como ya habia utilzado docker anter en esta vm, pienso que algo en el firewall or forward proxy que monitorea mis machines blocking it ( maybe)

Asi realize mi instalacion,

[
I went to this website, link the installaion --> apache-airflow/2.6.3/docker-compose.yaml

and went to the location where I want to make the installation

  1. Docker ps 鈫 to verify docker is installed and running

  2. create the docker compose file

    jaicarra@jaicarra-vm2:~/airflow$ docker ps -a
    CONTAINER ID   IMAGE            COMMAND                  CREATED       STATUS                    PORTS                           NAMES
    3a95e9133555   dpage/pgadmin4   "/entrypoint.sh"         6 weeks ago   Exited (0) 43 hours ago   443/tcp, 0.0.0.0:5050->80/tcp   jaicarra-pgadmin-1
    58756a78016a   postgres:12      "docker-entrypoint.s鈥"   6 weeks ago   Up 43 hours               0.0.0.0:5432->5432/tcp          jaicarra-db-1
    e56ea2b0a739   ubuntu           "tail -f dev/null"       6 weeks ago   Exited (0) 3 weeks ago                                    always_up
    51ddbff192b3   ubuntu           "/bin/bash"              6 weeks ago   Exited (0) 6 weeks ago                                    romantic_mirzakhani
    43f73be6f53a   ubuntu           "/bin/bash"              6 weeks ago   Exited (0) 6 weeks ago                                    quizzical_hamilton
    jaicarra@jaicarra-vm2:~/airflow$ ls
    docker-compose.yaml 
    

  1. installation 鈥> Run the command 鈥> docker-compose up](url)

para windows funciona con la ducumentacion link
ojo no se olviden modificar su espacio destinado para docker en mi caso le puse 5g
como se hacer ?
vas a :
disco localc >>usuarios >> nombrede tu usuario

crear un nuevo domumento tip '.wslconfig鈥
y copiar esto
[wsl2]


memory=5GB
processors=2

nota puedes jugar con los valores mi caso maximo puedo poner 16GB Y en processors=6 por que son las especificaciones de mi PC

para descargar el docker compose, a mi me funcion贸 con

curl https://airflow.apache.org/docs/apache-airflow/2.3.3/docker-compose.yaml --output docker-compose.yml
Tengo una duda sobre c贸mo se ejecuta Apache Airflow en la industria. Espec铆ficamente, si tengo un servidor, 驴debo instalar Airflow con Docker o sin Docker? Adem谩s, si opto por instalarlo con Docker, 驴es posible que Airflow ejecute procesos que no est茅n en el mismo contenedor Docker? Por 煤ltimo, 驴es necesario instalar una instancia de Airflow para cada proceso ETL o flujo de trabajo, o una sola instancia puede manejar m煤ltiples procesos?En la industria, 驴c贸mo se ejecuta Airflow?, es decir, tengo un server y all铆 lo instalo con docker o sin docker? No es claro para mi, si al instalar con Docker puedo hacer llamados de procesos que no esten en el mismo docker del Airflow o debo instalar un airflow para cada ETl o proceso que ejecute
Yo tengo Windows 10 y me ha sido totalmente imposible instalar el pto Airflow, tengo d铆a y medio dedicado de lleno a ello y no he podido, es m谩s, me instal茅 una m谩quina virtual de Ubuntu y tampoco, en Windows el problema se me presenta con la conexi贸n a SQLite "No se puede usar la ruta relativa: `sqlite:///C:\Users\Cesar/airflow/airflow.db`"
En Windows 11 lo instal茅 desde Ubuntu que se descarg贸 desde la tienda de aplicaciones de Microsoft Store.

Puedes instalar Airflow de la manera que m谩s te convenga, ac谩 tienes diferentes alternativas: https://airflow.apache.org/docs/apache-airflow/stable/installation/index.html


hice toda la instalacion genial pero me sale eso, como aria para que pueda instalar en my windows aparte de en docker?

Actualizaron la documentation de Apache Airflow, los comandos para usar docker-compose ahora se encuentran en la siguiente pagina:

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html