Clase 6 de 36 • Curso de Celery 4
Contenido del curso
Eduardo Peredo Rivero
Julio J Yépez
Anthony Smith Quispe De la cruz
William Rodriguez
Fredy Mendoza Vargas
Juan Manuel Framil
Eduardo Kiriakos Piazza
Alejandro Sanchez
marcos mayen
Diego Esteban Cortés Escandón
Adrián Andrés Sosa
Salvador Ruiz Fernández
Fredy Mendoza Vargas
Daniel Gonzalez Pascual
Mario Felipe Luevano Villagomez
Deyber Castañeda
Ramiro Gallo
Héctor Hugo Sandoval Marcelo
Moises Samuel Urias Moreno
Jose Peña Seco
Duvan Jose Botello Ramirez
Paulina de los Angeles Espejo Bacadare
José Alberto Ortiz Vargas
José Alberto Ortiz Vargas
Enrique Uzcategui
Un reporteador que puede generar un archivo de tipo: pdf, xlsx, txt, etc, a partir de un html y una estructura en json.
Sin Celery:
Dependiendo de qué tan complejo sea el html y el tamaño del json puede ser un proceso muy largo que haga esperar varios segundos al usuario afectando la UX de una aplicación.
Sería imposible que el usuario pueda generar más de un reporte a la vez, siempre tendría que esperar a que se genere el reporte para poder generar otro.
Con Celery
Celery parece una buena alternativa acá ya que se le puede indicar al usuario que el reporte está siendo construido mientras él puede interactuar con otras opciones de la aplicación.
La aplicación debería tener una opción en la que ve el status de los reportes.
Un generador de reportes automatizado, quizás programado en base a ciertos días y horas, con información tomada de los registros logs del sistema o json como dices, muy interesante!
Crearé un proyecto que consista en un bot de Twitter que vaya recogiendo datos, los envie al broker de mensajería y con un procesador de datos genere eventos, pienso usar(como idea inicial): -Python con Celery, Tweepy. -RabbitMQ. -Un procesador de datos de Apache como Flynk/Spark/Storm. La implementación la realizaré en mi maquina local y la ejecución se realizará en mi maquina local. Pienso que es aconsejable usar Celery debido a que el lenguaje principal será Python. por su compatibilidad con RabbitMQ y su eficiencia. Además de la cantidad de documentación que podré encontrar en Internet.
interesante
👍 Interesante!
Consumiendo apis para recuperar historial de ventas, preguntas, publicaciones y todo desde amazon, mercadolibre, etc.
¿Es cellery la mejor opción para mi proyecto?
Actualmente estoy desarrolando una aplicación de Quinielas para torneos de fútbol con Django REST Framework.
Este cuenta con un modelo Pool"Quiniela" asocioado a un usuario, un torneo y las predicciones que ese usuario hace de los partidos (además de stats generados por el acierto de resultados).
Estos datos de predicciones (Son más de 30 partidos por torneo) se me ocurrió guardarlos como un .csv “FileField()” y es la vista la que se encarga de validar el formulario recibido por el usuario con los datos de las predicciones y crear y guardar ese archivo “*+.csv” lo cual sé que no debería se así!
Por eso tomo este curso porque creo que Cellery es mi solución! Quiero dejar que Cellery se encargue de recibir los datos ya validados por la vista, crear y guardar el archivo “.csv” en Pool.prediction_file y comparar los datos del usuario con el modelo Match() “asociado a un torneo” que tiene los resultados reales de los partidos y generar así los stats. Es eso posible?
Celery es casi siempre la mejor elección.
**Administrativo: ** Si tengo una aplicación que está funcionando en varias tiendas y me gustaría sacar el estado de todas al mismo tiempo, con celery puedo generar una petición que en segundo plano obtenga toda esa información, la convierta en un formato en especifico(pdf, csv, xml por dar algunos ejemplos), y una vez ha concluido la tarea, me entregue el reporte, expresando a que hora hizo el cierre de cada tienda, sus balances, cuentas, estados financieros, entre otros.
Edición: pre renderizar un video, una película, e incluso un modelo 3D en segundo plano, para evitar la carga directa en el programa, y que el servidor colapse.
Videojuegos:utilizando otras herramientas como NodeJS o ajax, se puede realizar una aplicación en linea donde los procesos sean realizados por celery, algunas acciones sean realizadas como segundo plano, como cargar escenarios, enemigos, reacciones, etc.
Celery, envío masivo de emails o mensajería de texto
Un caso de uso que tube una vez, fue que en una aplicación web teníamos que generar un reporte muy grande con información de una base de datos muy grande también, y eso se hacía entrando a un link, donde había un botón de descarga. Luego de dar click en el botón empezaba a generar ese reporte en pdf, y le toma varios minutos antes de que se pueda descargar, ahora pensando en celery haría una cola de trabajo donde se vayan recibiendo esas peticiones de descarga de ese reporte y una vez terminado se lo enviaría por mail al usuario que lo solicitó.
Podría ser bastante útil para controlar la petición de gráficas y estadísticas pesadas, procesos con datos a nivel de suministro como consumo energético, agua que tienen que mover muchísima información, histórico de pedidos, plataformas de servicio, procesos de indexado, etc.
Interesante
Tengo intencion de usar celery para montar un sincronizador entre los datos de mi erp odoo con unas webs montadas en wordpress, a modo de peticiones encoladas y asi poder balancear las cargas con las apis de wordpress
Un analizador de intensiones de compra , pago o algun caso especifico contenido en la grabacion de llamada de un call center para manejar las colas pude ser en connjunto con redis se me ocurre ejemplo de flujo :
se almacena en un repositorio la grabacion de llamada ( se almacena en cache con redis y comienza su estatus base )
pasamos el el audio por un nlu tipo LYIS o RASA para generar un archivo de texto
haremos el analisis semantico de el resultado del nlu
liberamos de la cola y cambiamos el estatus de analisia en la base central de datos
y si entiendo hasta ahora para que seria celery me permitiria correr N procesos paralelos sin necesidad de hacer un cuello de botella tanto en la base central de datos como en el usoi de los NLU
Actualmente estoy trabajando en un bot para Slack y celery me ha servido mucho para la sincronización de datos desde Google spreadsheets
Aplicacion que recopila datos climaticos de 5000 fuentes distintas, los almacena en una base de datos y luego calcula nuevos valores basados en dichos datos, estos datos deben estar disponibles a primera hora del día segun la zona horaria de los lugares y no debe perjudicar el resto de los trabajos.
Para esto se realizarían dos tipos de colas: Tareas de recopilación de datos: Habría dos tipos de tareas, tareas diarias y tareas horarias, las taras diarias se harían a última hora del dia, donde se enviarían a recopilar los datos de las páginas y apis y que prestan este servicio y las horarias que se re lanzarían cada hora, buscando datos actualizados en las páginas que actualizan sus datos por hora. Para saber en que horario enviar las tareas diarias se puede usar flower para medir el tiempo de ejcucion de las tareas y de esta manera poder calcular el tiempo que necesita para estar lista a primera hora del día.
Tareas de calculo de datos: Estas tareas se realizarían de manera diaría basados en la zona horaria de los lugares para poder tener la informacíon actualizada.
Sin celery esto sería imposible ya que colapsaría y no darían las horas del día para hacer todo.
Crear colas de:
Se puede utilizar Celerey cuando se quiere alta escalabilidad. Cuando quiero distribuir el trabajo de ciertos requests en motore específicos.
Una de las ventajas es madurez de la librerías.
Para trabajar con Python, es la mejor opción que tenemos en este momento.
En estos momento, una de las mejores decisiones de arquitectura es pensar en la escalabilidad desde las primeras etapas de la aplicación.
Si hay tareas muy pesadas, nos podemos beneficiar de una arquitectura basada en eventos. El hecho que podamos desacoplar las tareas pesada a microservicios, se pueden usar las mejores tecnologías para resolver ese problema en específico.
**Procesamiento de insights en csv: ** en una dashboard de métricas que he echo para la empresa de mis padres tengo que engancharme a una fuente de datos de un ERP muy antigüo que no tiene API (solo tiene unos pequeños endpoints que retornan archivos csv generados cada 15 días con las métricas del negocio) y cada esos 15 días tengo que pillar el nuevo csv que han sacado procesarlo, limpiar los datos, sacar los que me interesan y guardarlos en la base de datos. Para esto celery me viene estupendo no solo por el procesamiento de la tarea pesada sino también por usar celery beat para gestionar la periodicidad de la misma
Actualmente me enfrento a un problema de recolectar datos de otras APIs que se demoran en dar respuesta. Espero al finalizar este curso tener las bases necesarias para implementar una solución adecuada.
Podemos usar Celery en un Bot para hacer web scraping en Instagram, asi el usuario obtendria datos de su cuenta o sobre su engagement de forma interactiva
Usaria Celery para ver la salud financiera de un usuario al momento de solicitar un credito. Tomaria sus datos y ejecutaria diferentes tareas a cada banco para consultar su estatus financiera y con esta data evaluar con otra tarea si el usuario es apto para un credito bancario.
Crearia un cotizador de seguros de auto, donde me conecte a diveras fuentes de casas vendedoras de seguros y le daria las mejores o todas las opciones disponibles para su vehiculo.
Podría utilizarse para un sistema de mensajes interno (tipo DM) de una aplicación? Dejándole la responsabilidad a Celery mientras el usuario sigue usando la app.
