Enrutado manual

Contenido del curso

Bienvenida

Bot de Slack

7
¿Cómo funciona un bot?
10:49 min
8
Cómo funciona el API de Slack para programación de bots (y parecidos y diferencias con otros APIs)
09:27 min
9
¿Cómo crear un bot reactivo?
15:54 min
10
Reto: posibles aplicaciones de bots de Slack, buscar ejemplos y entender cómo se llevarían a cabo
02:16 min
11
Reto: modificar el bot básico y crear alguno que responda a a algún tipo de petición o muestre algo
02:39 min

Brokers de mensajería

Celery y brokers de mensajería

Enrutado de tareas

Integración y despliegue en la nube

Conclusiones

36
Despedida, conclusiones y a dónde ir desde aquí
00:51 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0012:37

Enrutado manual

Curso de Celery 4

Clase 25 de 36

Clase 25 / 36

Recursos

¿Cómo trabajar con múltiples workers en Celery?

El trabajo con múltiples workers en Celery no solo es eficiente, sino necesario para manejar tareas de diferente naturaleza o prioridad. Esta estrategia permite a los desarrolladores gestionar efectivamente distintas colas de mensaje, asignando workers específicos para cada tipo de tarea.

¿Por qué usar múltiples workers?

El uso de diversos workers está recomendado para:

Tareas encapsuladas: Para tareas relacionadas con contenedores o que requieran procesamiento específico.
Diferentes prioridades: Assignar mayores recursos a tareas de alta prioridad mientras se distribuyen de manera equitativa las de menor prioridad.
Arquitectura de sistemas robustos: Seguir prácticas recomendadas en herramientas como RabbitMQ y Celery para maximizar el rendimiento y eficiencia.

¿Cómo configurar workers específicos por tipo de tarea?

Los workers pueden configurarse para escuchar mensajes o colas específicas. Aquí se describe un ejemplo básico para entender cómo funcionan las configuraciones de cola:

from celery import Celery

app = Celery('tasks', broker='pyamqp://guest@localhost//')

@app.task
def add(x, y):
    return x + y

@app.task
def multiply(x, y):
    return x * y

app.conf.task_routes = {
    'tasks.add': {'queue': 'default'},
    'tasks.multiply': {'queue': 'priority'}
}

¿Cómo enrutar tareas manualmente?

El manejo manual de colas ofrece un control adicional sobre el flujo de tareas. Aquí, el ejemplo ilustra cómo enrutar manualmente eventos entre diferentes colas utilizando Celery:

from some_module import process_command

def process_event(event):
    if event['type'] == 'message' and not event.get('subtype'):
        process_command.apply_async((event['text'],), queue='commands')

¿Cómo iniciar y ejecutar múltiples workers?

Una vez que se han configurado las colas y los workers, se pueden crear procesos específicos para manejar dichas tareas:

Iniciar el worker default: celery -A tasks worker --queue=default
Iniciar el worker de prioridad: celery -A tasks worker --queue=priority

¿Cuál es la ventaja de la ejecución distribuida de tareas?

El principal beneficio de la ejecución distribuida reside en la capacidad para manejar múltiples tareas de manera concurrente, optimizando el uso de recursos y aumentando la resiliencia del sistema. Además, permite escalabilidad, tanto en servidores locales como en servidores en la nube.

Ejemplo en la vida real: Implementaciones a gran escala

Imagina que en una aplicación en la nube, donde el procesamiento de datos es crítico, se implementan 20 workers distribuidos geográfica y funcionalmente. Esta arquitectura no solo mejora la eficiencia, sino que también minimiza el riesgo de pérdida de datos o mensajes, aprovechando la infraestructura a niveles antes inalcanzables con arquitecturas tradicionales no distribuídas.

Anímate a seguir explorando las capacidades de Celery en próximas lecciones, donde se cubrirán más soluciones avanzadas de enrutamiento y otras estrategias arquitectónicas. 🎉

Resumen

¿Cómo trabajar con múltiples workers en Celery?

¿Por qué usar múltiples workers?

El uso de diversos workers está recomendado para:

Tareas encapsuladas: Para tareas relacionadas con contenedores o que requieran procesamiento específico.
Diferentes prioridades: Assignar mayores recursos a tareas de alta prioridad mientras se distribuyen de manera equitativa las de menor prioridad.
Arquitectura de sistemas robustos: Seguir prácticas recomendadas en herramientas como RabbitMQ y Celery para maximizar el rendimiento y eficiencia.

¿Cómo configurar workers específicos por tipo de tarea?

Los workers pueden configurarse para escuchar mensajes o colas específicas. Aquí se describe un ejemplo básico para entender cómo funcionan las configuraciones de cola:

from celery import Celery

app = Celery('tasks', broker='pyamqp://guest@localhost//')

@app.task
def add(x, y):
    return x + y

@app.task
def multiply(x, y):
    return x * y

app.conf.task_routes = {
    'tasks.add': {'queue': 'default'},
    'tasks.multiply': {'queue': 'priority'}
}

¿Cómo enrutar tareas manualmente?

El manejo manual de colas ofrece un control adicional sobre el flujo de tareas. Aquí, el ejemplo ilustra cómo enrutar manualmente eventos entre diferentes colas utilizando Celery:

from some_module import process_command

def process_event(event):
    if event['type'] == 'message' and not event.get('subtype'):
        process_command.apply_async((event['text'],), queue='commands')

¿Cómo iniciar y ejecutar múltiples workers?

Una vez que se han configurado las colas y los workers, se pueden crear procesos específicos para manejar dichas tareas:

Iniciar el worker default: celery -A tasks worker --queue=default
Iniciar el worker de prioridad: celery -A tasks worker --queue=priority

¿Cuál es la ventaja de la ejecución distribuida de tareas?

Ejemplo en la vida real: Implementaciones a gran escala

Anímate a seguir explorando las capacidades de Celery en próximas lecciones, donde se cubrirán más soluciones avanzadas de enrutamiento y otras estrategias arquitectónicas. 🎉

Bienvenida

Celery ¿Qué es, para qué sirve, cómo se usa?

Repositorio del proyecto

Arquitecturas de software basadas en mensajería y colas de tareas

Brokers de tareas: Servidores de mensajería y formas de usarlos

¿Cuándo debemos usar Celery?

Reto: Casos de uso de Celery

Bot de Slack

¿Cómo funciona un bot?

Cómo funciona el API de Slack para programación de bots (y parecidos y diferencias con otros APIs)

¿Cómo crear un bot reactivo?

Reto: posibles aplicaciones de bots de Slack, buscar ejemplos y entender cómo se llevarían a cabo

Reto: modificar el bot básico y crear alguno que responda a a algún tipo de petición o muestre algo

Brokers de mensajería

¿Qué es un broker de mensajería y cuándo debe usarse?

Conceptos: mecanismos de publicación/suscripción. Canales. Intercambiadores

Brokers de mensajería open source

Python con RabbitMQ uso básico de la terminal

Comparación de diferentes brokers de mensajería para trabajar con Celery

Reto: Crear una pequeña aplicación cliente-servidor que use RabbitMQ desde Python

Celery y brokers de mensajería

Creando un entorno de desarrollo para Celery

Instalación y creación de un programa básico pub/sub

Cómo usar Celery para programar un robot de Slack: diseño y comienzo de la implementación

Monitorización de tareas

Solucionando problemas

Reto: implementación y despliegue básico de un bot de Slack

Enrutado de tareas

Conceptos: enrutado de tareas y por qué se necesita

Enrutado manual

Mensajería en Celery: uso de Kombu

Enrutado automático

Reto: diseño de mecanismos de enrutado para un bot de Slack

Integración y despliegue en la nube

Estructura de mensajes en Celery y resultados de tareas

Tareas periódicas con Celery

Configuración de sistemas en la nube

Contenedores

Despliegue en un PaaS: Heroku

Uso de Celery con Node.js

Reto: despliegue en la nube (usando cuentas gratuitas)

Conclusiones

Despedida, conclusiones y a dónde ir desde aquí

Enrutado manual