Despliegue de Apache Airflow en GCP

Ya AWS tiene un servicio como el de google cloud https://aws.amazon.com/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/

Jose Suarez

Se quedo super desactualizada la carrera de AWS en platzi.

Manuel Roa Ojeda

@czam01 por favor actualicen este curso :D

john ct

Ivan Acosta

¿Dónde se puede ubicar el archivo gad_platzi.py?

Jose Suarez

No esta :/

Usuario anónimo

User

Para el tema de los costos se pueden emplear los recursos brindados por Google Cluod (https://cloud.google.com/products/calculator)

Daniel Eduardo Portugal Revilla

Es un poco más complicado de eso en Composer, si bien nos dice que el cobro es por segundo o minuto. el servicio de composer está levantado 24x7. levanta un listado de contenedores y pods, así como instancia de cloud SQL. es un poco caro el servicio, evaluar siempre en su caso de uso y arquitectura que van a implementar

Mario Alexander Vargas Celis

Hace 2 años

Creando nuestro primer clúster en Cloud Composer (Google Cloud) 🚀

Google Cloud Composer es un servicio administrado basado en Apache Airflow que permite orquestar flujos de trabajo en la nube sin preocuparse por la infraestructura.

1️⃣ Requisitos previos

Antes de crear un clúster en Cloud Composer, asegúrate de que tienes lo siguiente: ✅ Una cuenta de Google Cloud (GCP). ✅ El servicio de facturación habilitado. ✅ Habilitado el API de Cloud Composer y Cloud Storage. ✅ Instalado gcloud SDK en tu máquina (si lo harás por CLI).

2️⃣ Crear un clúster de Cloud Composer desde la consola

1️⃣ Accede a la consola de Google Cloud: 📍 Ve a Cloud Composer en la consola: 👉

2️⃣ Selecciona "Crear Entorno". 3️⃣ Configura los parámetros del clúster:

Nombre del entorno: mi-cluster-composer
Región: Selecciona la más cercana a ti.
Versión de Airflow: Se recomienda usar la más reciente.
Máquinas virtuales: Define el tamaño del clúster según la carga de trabajo.
Almacenamiento: Google Cloud Storage se usa para guardar DAGs y logs.
Red: Puedes usar la predeterminada o configurar una VPC personalizada.

4️⃣ Haz clic en "Crear" y espera unos minutos hasta que el entorno se aprovisione.

3️⃣ Crear un clúster de Cloud Composer con gcloud

Si prefieres hacerlo desde la línea de comandos, usa el siguiente comando:

gcloud composer environments create mi-cluster-composer \ --location us-central1 \ --image-version composer-2-airflow-2 \ --machine-type n1-standard-2 \ --node-count 3

📌 Explicación de los parámetros:

--location us-central1 → Define la región donde se crea el clúster.
--image-version composer-2-airflow-2 → Usa Airflow 2.x.
--machine-type n1-standard-2 → Especifica el tipo de máquina.
--node-count 3 → Número de nodos en el clúster.

Puedes verificar el estado del entorno con:

gcloud composer environments list --locations us-central1

4️⃣ Acceder a la UI de Airflow

Una vez creado el entorno, accede a la interfaz web de Airflow: 1️⃣ Desde la consola de GCP, ve a Composer > Entornos. 2️⃣ Selecciona el clúster y haz clic en Abrir Airflow UI.

También puedes obtener la URL con el siguiente comando:

gcloud composer environments describe mi-cluster-composer \ --location us-central1 \ --format="get(config.airflowUri)"

5️⃣ Subir un DAG a Cloud Composer

Cloud Composer almacena los DAGs en un bucket de Google Cloud Storage. Para agregar un DAG, súbelo al bucket asociado con tu clúster:

gsutil cp mi_dag.py gs://us-central1-mi-cluster-composer-bucket/dags/

Luego, verifica en la UI de Airflow si el DAG aparece.

6️⃣ Eliminar el clúster cuando no lo necesites

Si ya no necesitas el clúster, elimínalo para evitar costos innecesarios:

gcloud composer environments delete mi-cluster-composer \ --location us-central1

7️⃣ Beneficios de usar Cloud Composer

✅ Administración simplificada: No necesitas gestionar la infraestructura de Airflow. ✅ Escalabilidad: Se adapta a cargas de trabajo grandes automáticamente. ✅ Integración con Google Cloud: Compatible con BigQuery, Dataflow, Pub/Sub y más. ✅ Alta disponibilidad: Es un servicio administrado con soporte de Google.

Jhon Edward Bedoya

Hace 4 años

👉🏼

Oscar Eduardo Palomino Cárdenas

No está el arhivo dag_platzi.py.

Sandy Falcon

No está el arhivo dag_platzi.py

Andres Camilo Graciano Higuita

Hace un año

Al elegir la versión de Python y la imagen de Airflow, considera lo siguiente:

Compatibilidad: Verifica que las librerías y dependencias que usarás sean compatibles con la versión de Python seleccionada. Algunas librerías pueden no soportar versiones más nuevas.
Versiones de Airflow: Las imágenes pueden tener cambios significativos entre versiones (1.9 a 1.11), afectando características y compatibilidad con otros servicios de Big Data.
Estabilidad: Escoge una versión de Airflow que sea estable y recomendada por la comunidad, lo cual minimiza errores en producción.
Pruebas locales: Realiza pruebas locales para asegurar que tus scripts y configuraciones funcionen correctamente antes de desplegar en producción.

Estas consideraciones ayudarán a evitar problemas de compatibilidad en tus proyectos de Big Data.

Andres Camilo Graciano Higuita

Hace un año

La orquestación de datos no solo es automatización: es diseño inteligente de procesos. Composer nos recuerda que cada tarea bien estructurada acerca los datos al conocimiento de forma más ágil y confiable.

Fabrizio Ramírez

Hace un año

Por favor, actualizar este curso

Darvin Orozco

Cuando hay tareas paralelas que se ejecutarán en un DAG, ¿Se debe configurar algo en GCP para que se auto-escalable todo el procesamiento necesario para ejecutar dichas tareas?

Carlos Andrés Zambrano Barrera

Profesor

como tal el procesamiento depende de donde vas a ejecutar tus tareas... por ejemplo si es en Dataflow, glue u otro el escalamiento depende del servicio... o vas a procesar algo en contenedores, ahi se depende de la política de autoscaling del servicio.

Darvin Orozco

Para orquestar un proyecto de BigData, ¿Es mejor hacerlo (por tema de costos e integración nativa con otros servicios) desde Cloud Composer en GCP y no en AWS?

Carlos Andrés Zambrano Barrera

Profesor

Depende... En GCP esta cloud composer, en AWS recomiendan formalmente Stepfunctions o ahora lakeformation que ya tuvo su release. Tambien ahora se tienen workflows visuales en Glue. En mi caso hemos desplegado airflow en AWS en ECS.

Darvin Orozco

Interesante saber que ya existen workflows visuales en Glue, eso ayudará bastante, mil gracias profesor @czam01

Jaime Patricio Ramírez Ramírez

Hace 3 años

Es necesario actualizar los cursos del path AWS, actualmente este servicio ya existe en la nube de Amazon.

Moises Bravo

Hace 4 años

Creo que hay que actualizar este curso

Usuario anónimo

User

muy interesante esta introduccion a airflow con google cloud. La pregunta que tengo es... si es muy costoso configurar el ambiente por mi propia cuenta ya sea en EC2 o contenedores como se dijo en el anterior video. Y que ocurriria con los temas de kubernetes en airflow?

Usuario anónimo

User

ok, gracias!!

john ct

bien interesante y claro. gracias

john ct

ej: Cloudwatch>> cashins_glue

Carlos Nexans