Introducción a Apache Airflow
Introducción al curso
¿Para qué sirve airflow?
¿Por qué usar airflow?
Resumen módulo 1
Conceptos básicos
DAG
Tasks y Operators
Scheduler
Instalación y configuración
Instalación de Apache Airflow usando Docker
Posibles configuraciones
Variables y conexiones
Implementando un DAG
Implementando un DAG
Bash Operator
Python Operator
Definiendo dependencias entre tareas
Custom Operator
Orquestar y monitorizar procesos
Orquestando un DAG I
Orquestando un DAG II
Monitoring
Task Actions
Trigger Rules
Sensores
¿Qué son los sensores?
ExternalTaskSensor
FileSensor
Templates con Jinja
¿Qué son los templates con Jinja?
XComs
¿Qué son los Xcoms?
BranchPythonOperator
BranchPythonOperator
Proyecto
Definición del proyecto
Cierre del curso
Cierre del curso
Comparte tu proyecto de Platzi explora el espacio con Airflow y certifícate
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
Python Operator
13/29Recursos
Aportes 21
Preguntas 4
Ordenar por:
This is wonderful!
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
def print_hello():
print('Hello people from python funtion')
with DAG(
dag_id='python_operator',
description='Fisrt dag using python operator',
schedule_interval='@once',
start_date=datetime(2022,8,1)
) as dag:
t1 = PythonOperator(
task_id = 'hello_with_python',
python_callable = print_hello
)
```
Me gusta la parte de que se se sigan podiendo reutilizar funciones, dejo ejemplo
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
def print_hello(country, **kwargs):
print(f'I am processing this {country}')
with DAG(dag_id='pythonoperator'
, description='Utilizando python operator'
, start_date=datetime(2023, 6, 7)
, schedule_interval='@once') as dag:
t1 = PythonOperator(task_id='process_ar'
, python_callable=print_hello
, op_kwargs={'country':'AR'})
t2 = PythonOperator(task_id='process_uy'
, python_callable=print_hello
, op_kwargs={'country':'UY'})
t1 >> t2
from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetime
def print\_hello(): print("Hola de pruebas.")
with DAG(dag\_id="pythonoperator", description="Nuestro primer DAG utilizando python operator", schedule\_interval="@once", start\_date=datetime(2022, 8, 1)) as dag: t1 = PythonOperator( task\_id="hello\_with\_python", python\_callable=print\_hello )
t1
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
def print_hello():
return print('hello world with python in airflow')
with DAG(dag_id='primer_dag_python',
schedule_interval='@once',
start_date=datetime(2022, 7, 1)) as dag:
t1 = PythonOperator(task_id='primer_task_python',
python_callable=print_hello)
¿Cómo ejecuto SQLAlchemy 2 en los DAGs usando PythonOperatos? dado que Airflow usa la versión 1.4. pasa que tengo toda una estructura de código que está en un árbol de directorios por orden para hacer un ETL, y si usara el PythonEnvOperator no me toda los demás archivos.
Ahora con Python Operator:
Si quisiera usar por ejemplo la librería pandas, donde se instala para usarla en el DAG?
from airflow import DAG
from datetime import datetime
from airflow.operators.python import PythonOperator
def print_hello():
print("HELLO PAPUS")
with DAG(dag_id="pythonoperator",
description="Nuestro primer DAG utilizando python ope",
schedule_interval="@once",
start_date =datetime(2022,12,6)) as dag:
t1 = PythonOperator(task_id="hello_with_python",
python_callable=print_hello)
t1 ```
Holis from python operator!!
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?