Fundamentos de MLOps y tracking de modelos
Implementación de MLOps para Modelos de Machine Learning
Tracking de Modelos de Machine Learning con MLflow Local
Seguimiento local de experimentos con MLflow usando folder personalizado
Principios y Etapas del MLOps en Machine Learning
Componentes de Infraestructura en MLOps: Control, Integración y Monitorización
Tracking de Experimentos con MLflow y Bucket en SQLite
Tracking de Experimentos de Machine Learning con AWS y MLflow
Tracking del ciclo de vida de modelos de machine learning
Clasificación de Tickets con Procesamiento de Lenguaje Natural
Tracking de Datos y Modelado con MNLflow y Scikit-learn
Tracking de Métricas e Hiperparámetros con Validación Cruzada
Tracking de Modelos y Métricas con MLflow y CycleLearn
Optimización de Hiperparámetros en Modelos de Machine Learning
Creación y gestión de experimentos con MLflow y Scikit-Learn
Promoción y Gestión de Modelos en Azure con MLflow
Validación de Modelos de Machine Learning con MLflow y SciPy
Tracking y Trazabilidad en MLOps con MLflow
Orquestación de pipelines de machine learning
Creación de tareas en Prefect para flujos de Machine Learning
Creación de Flujos de Trabajo con Prefect para Machine Learning
Pipeline de Machine Learning para Clasificación de Tickets
Pipeline de Procesamiento y Entrenamiento de Modelos de Datos
Ejecución de Flujos de Trabajo con Prefect: Conceptos y Prácticas
Orquestación de Flujos Flexibles con Prefect y Python
Despliegue de modelo de machine learning
Despliegue de Aplicaciones con Docker y FAS API en AWS
Creación de Aplicación con PaaS API, Docker y Grafana
Preprocesamiento y Predicción de Texto en Modelos de Machine Learning
Configuración de Base de Datos en SQLModel y Docker Compose
Despliegue Local y en AWS de Aplicaciones con Docker y Postman
Implementación de Modelos en Entornos Productivos con AWS y Docker
Autoescalado y Entrega Continua de Modelos en Producción
Monitoreo de modelo de machine learning en producción
Monitoreo de Modelos en Producción: Estrategias y Métricas Clave
Monitoreo de Modelos en Producción: Calidad de Datos y Data Drift
Modelo de Clasificación con Support Vector Classifier
Análisis de Drift y Valores Faltantes con Evidently
Creación de Dashboards y Visualizaciones en Grafana para Machine Learning
Mejora de Procesos MLOps e Infraestructura Escalable
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
Análisis de Drift y Valores Faltantes con Evidently
33/35¿Cómo implementar el método de Column Mapping con Evidently?
La herramienta de Evidently ofrece soluciones para identificar problemas como fugas o fallas en las predicciones. Este proceso comienza con la implementación del método de Column Mapping, que se utiliza para evaluar la deriva o falta de valores en tu conjunto de datos. Aquí te explicamos cómo llevarlo a cabo.
- Configuración del Column Mapping:
- Genera una variable llamada
column_mapping. - Define el método e indica que no se hará un análisis basado en el objetivo (target), estableciéndolo en
on. - Especifica donde se encuentran las predicciones en tus conjuntos de datos, en la columna llamada
predictions. - Determina si hay variables numéricas y categóricas, siendo necesarias darle una lista de strings si posees más de una columna de este tipo.
¿Cómo generar un reporte de análisis del drift?
Con Evidently, puedes generar un reporte que incluya una lista de métricas para evaluar la deriva de tus predicciones y detectar valores faltantes en los datos. Este informe es esencial para asegurar que el modelo sigue siendo efectivo.
Creación de un reporte y especificación de métricas
- Generar el reporte:
- Crea una variable llamada
reporty llama al métodoreportde Evidently. - Define una lista de métricas que incluirá herramientas como
column_drift_metricpara evaluar la deriva en las predicciones, ydata_set_drift_metricpara el conjunto completo de datos.
- Especifica las métricas a utilizar:
- La métrica
data_set_missing_values_metricte ayudará a identificar valores faltantes que puedan afectar el rendimiento del modelo.
- Ejecutar y generar el Visual Report:
- Usa
report.runpara iniciar el análisis. - Visualiza el reporte usando
report.showen modo en línea si trabajas en un notebook.
Interpretación y utilidad de los resultados
El reporte también ofrece datos adicionales como la distribución de datos y el porcentaje de valores faltantes. Esto es crucial para equilibrar tus conjuntos de datos train y test y garantizar evaluaciones justas.
- Ejemplo de resultados:
- Un score de drift bajo, como 0.05, es aceptable; si aumenta más de 0.45, es necesario reconsiderar tu modelo.
- La proporción de valores faltantes debe ser mínima para asegurar la validez del modelo; en este caso es 0%.
¿Cómo integrar los resultados en tu flujo de trabajo?
Tras generar un reporte visual, es útil almacenar métricas de forma estructurada en un diccionario. De esta manera, puedes integrarlo fácilmente en un pipeline de Machine Learning y utilizarlo para tomar decisiones estratégicas.
Almacenamiento e impresión de las métricas
-
Almacena los resultados del reporte en un diccionario para facilitar su uso en futuras tareas como la decisión de activar o desactivar partes del flujo de Machine Learning.
-
Algunas variables clave que pueden analizarse incluyen el
scorede drift y el número de columnas con drift. Ejemplo de código para este propósito:Almacenamiento de métricas en un diccionario
result = report.as_dict()
Obtención del score de data drift
drift_score = result['metrics'][0]['result']['score']
Verificación de columnas con drift
columns_drift = result['metrics'][1]['result']['number_of_columns_with_drift']
Nada de valores faltantes en el conjunto de datos actual
missing_values_current = result['metrics'][2]['result']['share_of_missing_values']
Con estos pasos, puedes realizar un análisis continuo de tus datos y adaptarte a los cambios necesarios para mantener tus modelos eficaces. Evidently es una herramienta poderosa para asegurarte de que tu proceso de predicción sigue ofreciendo un rendimiento óptimo. ¡Continúa explorando y avanzando en el emocionante mundo del Machine Learning!
Aportes 2
Preguntas 2
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?