Tareas periódicas con Celery

Contenido del curso

Bienvenida

Bot de Slack

7
¿Cómo funciona un bot?
10:49 min
8
Cómo funciona el API de Slack para programación de bots (y parecidos y diferencias con otros APIs)
09:27 min
9
¿Cómo crear un bot reactivo?
15:54 min
10
Reto: posibles aplicaciones de bots de Slack, buscar ejemplos y entender cómo se llevarían a cabo
02:16 min
11
Reto: modificar el bot básico y crear alguno que responda a a algún tipo de petición o muestre algo
02:39 min

Brokers de mensajería

Celery y brokers de mensajería

Enrutado de tareas

Integración y despliegue en la nube

Conclusiones

36
Despedida, conclusiones y a dónde ir desde aquí
00:51 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0015:55

Tareas periódicas con Celery

Curso de Celery 4

Clase 30 de 36

Clase 30 / 36

Recursos

¿Cómo trabajar con tareas periódicas en Celery?

Aprender a programar tareas periódicas es una habilidad esencial para automatizar procesos que requieren una ejecución constante, como la recolección de datos o el mantenimiento del servidor. En este contenido, descubrirás cómo manejar tareas periódicas usando Celery, un potente gestor de tareas en Python que facilita programar y ejecutar trabajos en segundo plano.

¿Qué es Celery y cómo se usa?

Celery es una biblioteca de Python diseñada para gestionar las tareas de manera asíncrona y programada. Te permite definir tareas específicas y programar su ejecución en intervalos regulares, lo que es útil cuando necesitas procesos repetitivos sin intervención humana. Algunos aspectos clave de Celery incluyen:

Gestión de tareas asíncronas: Permite ejecutar procesos largos en segundo plano, mejorando el rendimiento de las aplicaciones.
Compatibilidad con diferentes brokers de mensaje: Puede ser usada con RabbitMQ, Redis, entre otros.
Programación de tareas periódicas: Proporciona un módulo llamado celery.beat, que permite configurar tareas para que se ejecuten automáticamente en un horario establecido.

¿Cómo configurar tareas periódicas en Celery?

Primero, debes importar las herramientas necesarias para trabajar con Celery. Aquí te mostramos cómo estructurar tu script para crear una tarea periódica:

from celery import Celery
from celery.schedules import crontab

app = Celery('nombre_aplicacion', broker='redis://localhost:6379/0')

# Configurar tarea periódica
app.conf.beat_schedule = {
    'nombre_tarea': {
        'task': 'nombre_modulo.tarea_especifica',
        'schedule': crontab(minute=0, hour='*/1'),  # Ejecutar cada hora
    },
}

¿Cómo extraer datos regularmente con Python?

Supongamos que necesitas recolectar datos desde una página web en intervalos regulares. Puedes usar bibliotecas como beautifulsoup4 para analizar el HTML y extraer la información que necesitas. Esto se complementa con Celery para programar la descarga de datos periódicos.

import requests
from bs4 import BeautifulSoup

def descargar_datos():
    url = "https://ejemplo.com/pagina-deseada"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # Extraer datos específicos de la página
    datos_extraidos = soup.find_all('div', class_='clase-especifica')
    
    with open('datos.json', 'w') as archivo:
        archivo.write(str(datos_extraidos))

¿Cómo ejecutar una tarea periódica de Celery?

Para iniciar las tareas, debes ejecutar Celery con un worker y, si estás programando tareas periódicas, también necesitas arrancar el beat scheduler.

Iniciar el worker: Proceso que ejecuta las tareas programadas por Celery.
```
celery -A nombre_aplicacion worker --loglevel=info
```
Iniciar el beat scheduler: Se encarga de enviar las tareas periódicas al worker.
```
celery -A nombre_aplicacion beat --loglevel=info
```

¿Consejos para trabajar con tareas periódicas en Celery?

Comenzar simple: Configure una tarea básica para asegurarse de que los componentes de Celery están correctamente instalados y trabajan juntos.
Registro y monitorización: Use los logs para entender qué está fallando en caso de errores, y monitorice las tareas para optimizar sus tiempos de ejecución.
Escalabilidad: Diseñe las tareas de manera modular para facilitar la escalabilidad y personalización.
Tareas atómicas: Haga que sus tareas sean pequeñas y realicen una sola función para reducir la complejidad y facilitar la depuración.

Celery es una herramienta poderosa que puede manejar múltiples tareas y programarlas eficientemente, ofreciendo una solución ideal para proyectos que requieran automatización y procesamiento en segundo plano. Con la práctica y un buen enfoque, podrás dominar el uso de tareas periódicas y mejorar la eficiencia de tus aplicaciones.

Resumen

¿Cómo trabajar con tareas periódicas en Celery?

¿Qué es Celery y cómo se usa?

Gestión de tareas asíncronas: Permite ejecutar procesos largos en segundo plano, mejorando el rendimiento de las aplicaciones.
Compatibilidad con diferentes brokers de mensaje: Puede ser usada con RabbitMQ, Redis, entre otros.
Programación de tareas periódicas: Proporciona un módulo llamado celery.beat, que permite configurar tareas para que se ejecuten automáticamente en un horario establecido.

¿Cómo configurar tareas periódicas en Celery?

Primero, debes importar las herramientas necesarias para trabajar con Celery. Aquí te mostramos cómo estructurar tu script para crear una tarea periódica:

from celery import Celery
from celery.schedules import crontab

app = Celery('nombre_aplicacion', broker='redis://localhost:6379/0')

# Configurar tarea periódica
app.conf.beat_schedule = {
    'nombre_tarea': {
        'task': 'nombre_modulo.tarea_especifica',
        'schedule': crontab(minute=0, hour='*/1'),  # Ejecutar cada hora
    },
}

¿Cómo extraer datos regularmente con Python?

import requests
from bs4 import BeautifulSoup

def descargar_datos():
    url = "https://ejemplo.com/pagina-deseada"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # Extraer datos específicos de la página
    datos_extraidos = soup.find_all('div', class_='clase-especifica')
    
    with open('datos.json', 'w') as archivo:
        archivo.write(str(datos_extraidos))

¿Cómo ejecutar una tarea periódica de Celery?

Para iniciar las tareas, debes ejecutar Celery con un worker y, si estás programando tareas periódicas, también necesitas arrancar el beat scheduler.

Iniciar el worker: Proceso que ejecuta las tareas programadas por Celery.
```
celery -A nombre_aplicacion worker --loglevel=info
```
Iniciar el beat scheduler: Se encarga de enviar las tareas periódicas al worker.
```
celery -A nombre_aplicacion beat --loglevel=info
```

¿Consejos para trabajar con tareas periódicas en Celery?

Comenzar simple: Configure una tarea básica para asegurarse de que los componentes de Celery están correctamente instalados y trabajan juntos.
Registro y monitorización: Use los logs para entender qué está fallando en caso de errores, y monitorice las tareas para optimizar sus tiempos de ejecución.
Escalabilidad: Diseñe las tareas de manera modular para facilitar la escalabilidad y personalización.
Tareas atómicas: Haga que sus tareas sean pequeñas y realicen una sola función para reducir la complejidad y facilitar la depuración.

Bienvenida

Celery ¿Qué es, para qué sirve, cómo se usa?

Repositorio del proyecto

Arquitecturas de software basadas en mensajería y colas de tareas

Brokers de tareas: Servidores de mensajería y formas de usarlos

¿Cuándo debemos usar Celery?

Reto: Casos de uso de Celery

Bot de Slack

¿Cómo funciona un bot?

Cómo funciona el API de Slack para programación de bots (y parecidos y diferencias con otros APIs)

¿Cómo crear un bot reactivo?

Reto: posibles aplicaciones de bots de Slack, buscar ejemplos y entender cómo se llevarían a cabo

Reto: modificar el bot básico y crear alguno que responda a a algún tipo de petición o muestre algo

Brokers de mensajería

¿Qué es un broker de mensajería y cuándo debe usarse?

Conceptos: mecanismos de publicación/suscripción. Canales. Intercambiadores

Brokers de mensajería open source

Python con RabbitMQ uso básico de la terminal

Comparación de diferentes brokers de mensajería para trabajar con Celery

Reto: Crear una pequeña aplicación cliente-servidor que use RabbitMQ desde Python

Celery y brokers de mensajería

Creando un entorno de desarrollo para Celery

Instalación y creación de un programa básico pub/sub

Cómo usar Celery para programar un robot de Slack: diseño y comienzo de la implementación

Monitorización de tareas

Solucionando problemas

Reto: implementación y despliegue básico de un bot de Slack

Enrutado de tareas

Conceptos: enrutado de tareas y por qué se necesita

Enrutado manual

Mensajería en Celery: uso de Kombu

Enrutado automático

Reto: diseño de mecanismos de enrutado para un bot de Slack

Integración y despliegue en la nube

Estructura de mensajes en Celery y resultados de tareas

Tareas periódicas con Celery

Configuración de sistemas en la nube

Contenedores

Despliegue en un PaaS: Heroku

Uso de Celery con Node.js

Reto: despliegue en la nube (usando cuentas gratuitas)

Conclusiones

Despedida, conclusiones y a dónde ir desde aquí

Tareas periódicas con Celery