¿Qué sucede después de poner un modelo en producción?
Una vez que se ha alcanzado el hito de colocar un modelo de machine learning en producción, el siguiente paso crítico es el monitoreo. Esto no solo implica verificar que las predicciones sean precisas, sino también asegurar que los datos y el desempeño del modelo se mantengan dentro de un rango aceptable. Existen estrategias fundamentales en la disciplina de MLOps que permiten llevar a cabo este monitoreo de manera efectiva.
¿Cómo monitorizar un modelo con un baseline?
Un enfoque común para el monitoreo es la comparación del modelo en producción con un modelo baseline o de referencia. Este modelo baseline es típicamente menos complejo y permite determinar si el modelo actual sigue siendo más eficiente. Aunque pueda parecer contraproducente usar un modelo más simple, en algunos casos, especialmente con algoritmos basados en reglas o heurísticas, estos modelos pueden ofrecer resultados sorprendentemente efectivos sin la necesidad de la complejidad de una red neuronal.
¿De qué forma se monitorea el modelo en producción?
La estrategia más importante es supervisar el propio modelo implementado, vigilando tanto los datos actuales como los de referencia. Estos datos actuales provienen de las predicciones más recientes, mientras que los datos de referencia son aquellos con los que se entrenó el modelo. Comparar estos datos es crucial para detectar si ha habido un cambio en su distribución, fenómeno conocido como data drift o concept drift, que podría afectar la precisión del modelo.
¿Qué tipos de drifts se deben identificar?
El monitoreo continuo de un modelo permite identificar problemas potenciales como la calidad de los datos, el data drift y el concept drift.
¿Por qué es importante el monitoreo de la calidad de datos?
La calidad de los datos es esencial para mantenimiento de un modelo efectivo. Monitorear la calidad permite detectar problemas como datos faltantes o inconsistencias que podrían indicar la necesidad de regresar a las etapas de limpieza y procesamiento. También es importante almacenar no solo las predicciones, sino también el raw input y su representación procesada.
¿Qué se debe saber sobre el data drift y el concept drift?
-
Data Drift: Se refiere a cambios significativos entre la distribución de los datos de entrenamiento originales y los datos nuevos con los que el modelo debe trabajar. Si se detecta, es necesario reentrenar el modelo para que pueda realizar predicciones precisas con la nueva población de datos.
-
Concept Drift: Tiene que ver con cambios en la importancia relativa de las características del modelo respecto a su objetivo. Por ejemplo, en el mercado inmobiliario, la ubicación de un inmueble podría variar su peso en el valor final a lo largo del tiempo. Si se observa un cambio significativo, se deben ajustar las alarmas que indiquen la necesidad de reentrenar el modelo.
¿Cómo se obtienen métricas en producción?
Para mantener la eficacia de un modelo, se deben considerar tanto las métricas de predicción como las operativas. Es importante no solo guardar las predicciones, sino también almacenar y analizar las características o features usadas para identificar cambios relevantes.
¿Cuáles son las métricas útiles en batch y real-time serving?
- Batch Serving:
- Procesamiento en lotes.
- Interesa verificar la precisión, la tasa de procesamiento y la ejecución.
- Real-time Serving:
- Predicciones bajo demanda.
- Foco en la latencia de respuesta, la capacidad de almacenamiento y el tráfico de red.
Recomiendo considerar ciertas prácticas
Al integrar todas las fases de MLOps, es vital saber cuándo reentrenar un modelo. ¿Cómo detectarlo? Una estrategia es usar librerías como Evently para el análisis del data drift, estableciendo umbrales de tolerancia adecuados.
El monitoreo es una función que debe adaptarse a las necesidades y límites del negocio, implicando una comprensión clara de lo que es aceptable y lo que no lo es. Esta vigilancia continua asegura que el modelo siga funcionando de manera óptima y se puedan tomar decisiones informadas sobre su ajuste futuro.
