Bienvenido a Platzi

Creando nuestro primer clúster en Cloud Composer (Google Cloud) 🚀

Google Cloud Composer es un servicio administrado basado en Apache Airflow que permite orquestar flujos de trabajo en la nube sin preocuparse por la infraestructura.

1️⃣ Requisitos previos

Antes de crear un clúster en Cloud Composer, asegúrate de que tienes lo siguiente: ✅ Una cuenta de Google Cloud (GCP). ✅ El servicio de facturación habilitado. ✅ Habilitado el API de Cloud Composer y Cloud Storage. ✅ Instalado gcloud SDK en tu máquina (si lo harás por CLI).

2️⃣ Crear un clúster de Cloud Composer desde la consola

1️⃣ Accede a la consola de Google Cloud: 📍 Ve a Cloud Composer en la consola: 👉

2️⃣ Selecciona "Crear Entorno". 3️⃣ Configura los parámetros del clúster:

• Nombre del entorno:
  mi-cluster-composer
• Región: Selecciona la más cercana a ti.
• Versión de Airflow: Se recomienda usar la más reciente.
• Máquinas virtuales: Define el tamaño del clúster según la carga de trabajo.
• Almacenamiento: Google Cloud Storage se usa para guardar DAGs y logs.
• Red: Puedes usar la predeterminada o configurar una VPC personalizada.

4️⃣ Haz clic en "Crear" y espera unos minutos hasta que el entorno se aprovisione.

3️⃣ Crear un clúster de Cloud Composer con

gcloud

Si prefieres hacerlo desde la línea de comandos, usa el siguiente comando:

gcloud composer environments create mi-cluster-composer \ --location us-central1 \ --image-version composer-2-airflow-2 \ --machine-type n1-standard-2 \ --node-count 3

📌 Explicación de los parámetros:

• --location us-central1
  → Define la región donde se crea el clúster.
• --image-version composer-2-airflow-2
  → Usa Airflow 2.x.
• --machine-type n1-standard-2
  → Especifica el tipo de máquina.
• --node-count 3
  → Número de nodos en el clúster.

Puedes verificar el estado del entorno con:

gcloud composer environments list --locations us-central1

4️⃣ Acceder a la UI de Airflow

Una vez creado el entorno, accede a la interfaz web de Airflow: 1️⃣ Desde la consola de GCP, ve a Composer > Entornos. 2️⃣ Selecciona el clúster y haz clic en Abrir Airflow UI.

También puedes obtener la URL con el siguiente comando:

gcloud composer environments describe mi-cluster-composer \ --location us-central1 \ --format="get(config.airflowUri)"

5️⃣ Subir un DAG a Cloud Composer

Cloud Composer almacena los DAGs en un bucket de Google Cloud Storage. Para agregar un DAG, súbelo al bucket asociado con tu clúster:

gsutil cp mi_dag.py gs://us-central1-mi-cluster-composer-bucket/dags/

Luego, verifica en la UI de Airflow si el DAG aparece.

6️⃣ Eliminar el clúster cuando no lo necesites

Si ya no necesitas el clúster, elimínalo para evitar costos innecesarios:

gcloud composer environments delete mi-cluster-composer \ --location us-central1

7️⃣ Beneficios de usar Cloud Composer

✅ Administración simplificada: No necesitas gestionar la infraestructura de Airflow. ✅ Escalabilidad: Se adapta a cargas de trabajo grandes automáticamente. ✅ Integración con Google Cloud: Compatible con BigQuery, Dataflow, Pub/Sub y más. ✅ Alta disponibilidad: Es un servicio administrado con soporte de Google.