Fundamentos de MLOps y tracking de modelos

1

¿Qué es MLOps y para qué sirve?

2

Tracking de modelos en localhost con MLflow

3

Tracking de modelos en localhost: directorio personalizado

4

Etapas del ciclo de MLOps

5

Componentes de MLOps

6

Tracking de modelos con MLflow y SQLite

7

Tracking de modelos con MLflow en la nube

Tracking del ciclo de vida de modelos de machine learning

8

Tracking de experimentos con MLflow: preprocesamiento de datos

9

Tracking de experimentos con MLflow: definición de funciones

10

Tracking de experimentos con MLflow: tracking de métricas e hiperparámetros

11

Tracking de experimentos con MLflow: reporte de clasificación

12

Entrenamiento de modelos baseline y análisis en UI de MLflow

13

MLflow Model Registry: registro y uso de modelos

14

Registro de modelos con mlflow.client

15

Testing de modelo desde MLflow con datos de prueba

16

¿Para qué sirve el tracking de modelos en MLOps?

Orquestación de pipelines de machine learning

17

Tasks con Prefect

18

Flows con Prefect

19

Flow de modelo de clasificación de tickets: procesamiento de datos y features

20

Flow de modelo de clasificación de tickets: integración de las tasks

21

Flow de modelo de clasificación de tickets: ejecución de tasks

22

¿Cómo se integra la orquestación en MLOps?

Despliegue de modelo de machine learning

23

Despligue con Docker y FastAPI: configuración y requerimientos

24

Despligue con Docker y FastAPI: definición de clases y entry point

25

Despligue con Docker y FastAPI: procesamiento de predicciones en main app

26

Despligue con Docker y FastAPI: configuración de la base de datos

27

Despliegue y pruebas de modelo de machine learning en localhost

28

Despliegue y pruebas de modelo de machine learning en la nube

29

¿Qué hacer con el modelo desplegado?

Monitoreo de modelo de machine learning en producción

30

¿Cómo monitorear modelos de machine learning en producción?

31

Entrenamiento de modelo baseline

32

Preparar datos para crear reporte con Evidently

33

Análisis de la calidad de los datos con Evidently

34

Creación de reportes con Grafana

35

¿Cómo mejorar tus procesos de MLOps?

No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

¿Cómo monitorear modelos de machine learning en producción?

30/35
Recursos

¿Qué sucede después de poner un modelo en producción?

Una vez que se ha alcanzado el hito de colocar un modelo de machine learning en producción, el siguiente paso crítico es el monitoreo. Esto no solo implica verificar que las predicciones sean precisas, sino también asegurar que los datos y el desempeño del modelo se mantengan dentro de un rango aceptable. Existen estrategias fundamentales en la disciplina de MLOps que permiten llevar a cabo este monitoreo de manera efectiva.

¿Cómo monitorizar un modelo con un baseline?

Un enfoque común para el monitoreo es la comparación del modelo en producción con un modelo baseline o de referencia. Este modelo baseline es típicamente menos complejo y permite determinar si el modelo actual sigue siendo más eficiente. Aunque pueda parecer contraproducente usar un modelo más simple, en algunos casos, especialmente con algoritmos basados en reglas o heurísticas, estos modelos pueden ofrecer resultados sorprendentemente efectivos sin la necesidad de la complejidad de una red neuronal.

¿De qué forma se monitorea el modelo en producción?

La estrategia más importante es supervisar el propio modelo implementado, vigilando tanto los datos actuales como los de referencia. Estos datos actuales provienen de las predicciones más recientes, mientras que los datos de referencia son aquellos con los que se entrenó el modelo. Comparar estos datos es crucial para detectar si ha habido un cambio en su distribución, fenómeno conocido como data drift o concept drift, que podría afectar la precisión del modelo.

¿Qué tipos de drifts se deben identificar?

El monitoreo continuo de un modelo permite identificar problemas potenciales como la calidad de los datos, el data drift y el concept drift.

¿Por qué es importante el monitoreo de la calidad de datos?

La calidad de los datos es esencial para mantenimiento de un modelo efectivo. Monitorear la calidad permite detectar problemas como datos faltantes o inconsistencias que podrían indicar la necesidad de regresar a las etapas de limpieza y procesamiento. También es importante almacenar no solo las predicciones, sino también el raw input y su representación procesada.

¿Qué se debe saber sobre el data drift y el concept drift?

  • Data Drift: Se refiere a cambios significativos entre la distribución de los datos de entrenamiento originales y los datos nuevos con los que el modelo debe trabajar. Si se detecta, es necesario reentrenar el modelo para que pueda realizar predicciones precisas con la nueva población de datos.

  • Concept Drift: Tiene que ver con cambios en la importancia relativa de las características del modelo respecto a su objetivo. Por ejemplo, en el mercado inmobiliario, la ubicación de un inmueble podría variar su peso en el valor final a lo largo del tiempo. Si se observa un cambio significativo, se deben ajustar las alarmas que indiquen la necesidad de reentrenar el modelo.

¿Cómo se obtienen métricas en producción?

Para mantener la eficacia de un modelo, se deben considerar tanto las métricas de predicción como las operativas. Es importante no solo guardar las predicciones, sino también almacenar y analizar las características o features usadas para identificar cambios relevantes.

¿Cuáles son las métricas útiles en batch y real-time serving?

  1. Batch Serving:
  • Procesamiento en lotes.
  • Interesa verificar la precisión, la tasa de procesamiento y la ejecución.
  1. Real-time Serving:
  • Predicciones bajo demanda.
  • Foco en la latencia de respuesta, la capacidad de almacenamiento y el tráfico de red.

Recomiendo considerar ciertas prácticas

Al integrar todas las fases de MLOps, es vital saber cuándo reentrenar un modelo. ¿Cómo detectarlo? Una estrategia es usar librerías como Evently para el análisis del data drift, estableciendo umbrales de tolerancia adecuados.

El monitoreo es una función que debe adaptarse a las necesidades y límites del negocio, implicando una comprensión clara de lo que es aceptable y lo que no lo es. Esta vigilancia continua asegura que el modelo siga funcionando de manera óptima y se puedan tomar decisiones informadas sobre su ajuste futuro.

Aportes 2

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Los vídeos no han sido revisados antes de compartirlos con los estudiantes? Hay bucles, tomas falsas, el audio está desfasado en varios, muchas clases terminan de forma abrupta en medio de una frase… Tenía muchas ganas de tomar este curso, y considero que el contenido del curso es bueno y la profesora explica de forma clara, pero estos problemas con los vídeos y los recursos hace que la calidad y la experiencia de usuario baje mucho!

Algunas clases tienen un desfase en la edición, podrían corregirlo pls?, el contenido y la explicación están muy buenas para ser opacadas por estos detalles