Tracking de modelos con MLflow y SQLite

Curso de MLOPS: Despliegue de Modelos de Machine Learning

Fundamentos de MLOps y tracking de modelos

¿Qué es MLOps y para qué sirve?

Etapas del ciclo de MLOps

Componentes de MLOps

Tracking de modelos en localhost con MLflow

Tracking de modelos en localhost: directorio personalizado

Tracking de modelos con MLflow y SQLite

Tracking de modelos con MLflow en la nube

Tracking del ciclo de vida de modelos de machine learning

Tracking de experimentos con MLflow: preprocesamiento de datos

Tracking de experimentos con MLflow: definición de funciones

Tracking de experimentos con MLflow: tracking de métricas e hiperparámetros

Tracking de experimentos con MLflow: reporte de clasificación

Entrenamiento de modelos baseline y análisis en UI de MLflow

MLflow Model Registry: registro y uso de modelos

Registro de modelos con mlflow.client

Testing de modelo desde MLflow con datos de prueba

¿Para qué sirve el tracking de modelos en MLOps?

Orquestación de pipelines de machine learning

Tasks con Prefect

Flows con Prefect

Flow de modelo de clasificación de tickets: procesamiento de datos y features

Flow de modelo de clasificación de tickets: integración de las tasks

Flow de modelo de clasificación de tickets: ejecución de tasks

¿Cómo se integra la orquestación en MLOps?

Despliegue de modelo de machine learning

Despligue con Docker y FastAPI: configuración y requerimientos

Despligue con Docker y FastAPI: definición de clases y entry point

Despligue con Docker y FastAPI: procesamiento de predicciones en main app

Despligue con Docker y FastAPI: configuración de la base de datos

Despliegue y pruebas de modelo de machine learning en localhost

Despliegue y pruebas de modelo de machine learning en la nube

¿Qué hacer con el modelo desplegado?

Monitoreo de modelo de machine learning en producción

¿Cómo monitorear modelos de machine learning en producción?

Entrenamiento de modelo baseline

Preparar datos para crear reporte con Evidently

Análisis de la calidad de los datos con Evidently

Creación de reportes con Grafana

¿Cómo mejorar tus procesos de MLOps?

No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Si ya tienes una cuenta,

Recursos

Aportes 3

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Camilo Amadio Crv

hace 8 meses

Un comment que me costó semanas aprender, triple '/' es path relativo y cuadruple '/' es path absoluto

Santiago Ahumada Lozano

hace 8 meses

Tracking de Modelos con MLflow y SQLite

Introducción 🚀

Cómo realizar el seguimiento de modelos utilizando MLflow y SQLite, pero con un enfoque adicional: el uso de un “bucket”. Este enfoque nos permitirá almacenar las entidades en una base de datos SQLite, ofreciendo ventajas significativas para colaboración y accesibilidad.

Paso a Paso 🛠️

Desarrollo de Código de Machine Learning
Comienza desarrollando el código de Machine Learning que deseas seguir y mejorar.
Tracking con MLflow
Utiliza MLflow para realizar el seguimiento de tus experimentos. Los artefactos se seguirán almacenando en la carpeta mlruns
Ejecución del Código

Ejecuta tu código. Automáticamente se creará un archivo bucket.db, que es la base de datos SQLite que actúa como el “bucket” para tus entidades.
Almacenamiento en un Bucket

En lugar de almacenar todas las entidades localmente, ahora utilizaremos un “bucket”. Este “bucket” es una base de datos SQLite que contendrá información como métricas, hiperparámetros y otros detalles relevantes para cada ejecución.

Ventajas 🌟

Este enfoque resuelve limitaciones al permitir compartir experimentos con equipos de trabajo. Al almacenar la información en un bucket, múltiples desarrolladores pueden acceder y colaborar en el mismo conjunto de datos, fomentando un entorno colaborativo y eficiente.

Enzo Gonzales

hace un mes

El **tracking de modelos con MLflow y SQLite** se refiere al proceso de registrar, monitorear y gestionar experimentos y modelos de machine learning utilizando la herramienta **MLflow** en combinación con una base de datos **SQLite** para almacenar la información. Aquí te explico cada componente: ### 1. **MLflow:** MLflow es una plataforma de código abierto que facilita la gestión del ciclo de vida de los modelos de machine learning. Esto incluye cuatro componentes principales: * **Tracking:** Registro de experimentos, parámetros, métricas, y artefactos. * **Projects:** Organización del código en un formato reproducible. * **Models:** Gestión y despliegue de modelos. * **Registry:** Registro centralizado de modelos para la colaboración. ### 2. **Tracking con MLflow:** El componente de tracking en MLflow permite a los científicos de datos y equipos de machine learning realizar un seguimiento detallado de los experimentos que ejecutan. Por ejemplo, puedes registrar: * **Parámetros de entrada**: Variables de configuración, como el número de árboles en un modelo de bosque aleatorio. * **Métricas de rendimiento**: Como la precisión, el recall, o cualquier otra métrica relevante. * **Artefactos**: Archivos generados, como gráficos, modelos entrenados, etc. * **Código fuente**: El código utilizado en cada experimento. ### 3. **SQLite:** SQLite es una base de datos ligera y autónoma que se utiliza comúnmente para aplicaciones de menor escala, como el desarrollo o aplicaciones locales. Cuando se utiliza con MLflow, SQLite puede ser el backend de la base de datos donde se almacenan los registros de experimentos de MLflow. ### **Cómo funciona el tracking de modelos con MLflow y SQLite:** 1. **Configuración de MLflow para usar SQLite:** Se configura MLflow para que utilice una base de datos SQLite como backend para almacenar la información de tracking. Esto generalmente implica especificar la URI de la base de datos SQLite en la configuración de MLflow. 2. **Registro de experimentos:** A medida que realizas experimentos de machine learning, MLflow registra automáticamente todos los detalles en la base de datos SQLite. Esto incluye parámetros, métricas, artefactos, y más. 3. **Consulta y análisis:** Puedes consultar la base de datos SQLite para revisar los experimentos anteriores, comparar resultados, y analizar el rendimiento de los modelos. 4. **Reproducibilidad:** Al tener todo registrado en MLflow, puedes replicar experimentos anteriores, facilitando la reproducibilidad y el seguimiento de los resultados a lo largo del tiempo.