Variables y conexiones

Clase 10 de 29 • Curso de Fundamentos de Apache Airflow

Royer Guerrero Pinilla

student•

✨ Cuando quieran crear una conexión a su maquina es posible que no les funcione el localhost en ese caso debe usar lo siguiente

host.docker.internal
## http
http://host.docker.internal:3000

No siempre sucede pero algunas veces si

Kevin Zepeda

student•

La razón por la que aveces no sucede, es por el tipo de "network", utilizando bridge no tendrías ningún problema.

Carlos Perilla

student•

Para ver las variables creadas en consola podemos acceder por medio de Docker.

Así

# Buscamos el ID del container correspondiente al webserver.
docker ps

# Abrimos su consola de python.
docker exec -it ID_CONTAINER python

Ya en la consola Python del contenedor podemos hacer lo visto en clase.

from airlfow.models import Variable

org = Variable.get("organizacion")
print(org)

Javier Hugo Noto Enriquez

student•

from airflow.providers.postgres.operators.postgres import PostgresOperator

populate_pet_table = PostgresOperator(
		task_id="populate_pet_table",
		postgres_conn_id="my_postgres_conn",
		sql="sql/pet_schema.sql",
)

Leonardo Martin Mendez

student•

Sería muy positivo si mostraras en el video como llegas a la documentación que se observa, no sé si es porque la documentación de Airflow ya cambio, pero no pude encontrar lo que se muestra en el video.

Sebastián Franco

student•

La cuenta y contraseña por defecto son

username : airflow password : airflow

Adrian Lara Gallardo

student•

Uffas, muchas gracias, justo lo que necesitaba

Mauro Ezequiel Bravo

student•

Hola! ¿Como se hace para agregar conexiones que no estan en "Connection Type"? Por ejemplo MS Sql Server, o cualquier otra base de datos. Saludos

Eric Bellet

teacher•

Hola Mauro! Para agregar conexiones tienes que instalar el proveedor, por ejemplo:

pip install apache-airflow-providers-mysql

Mauro Ezequiel Bravo

student•

Hola Eric!

En que contenedor tengo que instalar el proveedor? Luego de instalarlo ya aparece en "Connection Type"?

Saludos

Eric Bellet

teacher•

Hola Mauro! Yo la instalación la haría en el docker-compose.yaml, añadiendo una linea come está _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-oracle apache-airflow-providers-microsoft-mssql} y al hacer el build de nuevo eel docker-compose debería aparecerte el connection type

(note: add 1 space)

from airflow.providers.postgres.operators.postgres import PostgresOperator

populate_pet_table = PostgresOperator(
		task_id="populate_pet_table",
		postgres_conn_id="my_postgres_conn",
		sql="sql/pet_schema.sql",
)

Variables y conexiones

Introducción a Apache Airflow

Introducción al curso

¿Para qué sirve airflow?

¿Por qué usar airflow?

Resumen módulo 1

Conceptos básicos

DAG

Tasks y Operators

Scheduler

Instalación y configuración

Instalación de Apache Airflow usando Docker

Posibles configuraciones

Variables y conexiones

Implementando un DAG

Implementando un DAG

Bash Operator

Python Operator

Definiendo dependencias entre tareas

Custom Operator

Orquestar y monitorizar procesos

Orquestando un DAG I

Orquestando un DAG II

Monitoring

Task Actions

Trigger Rules

Sensores

¿Qué son los sensores?

ExternalTaskSensor

FileSensor

Templates con Jinja

¿Qué son los templates con Jinja?

XComs

¿Qué son los Xcoms?

BranchPythonOperator

BranchPythonOperator

Proyecto

Definición del proyecto

Cierre del curso

Cierre del curso

Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate