Fundamentos de MLOps y tracking de modelos
Implementación de MLOps para Modelos de Machine Learning
Tracking de Modelos de Machine Learning con MLflow Local
Seguimiento local de experimentos con MLflow usando folder personalizado
Principios y Etapas del MLOps en Machine Learning
Componentes de Infraestructura en MLOps: Control, Integración y Monitorización
Tracking de Experimentos con MLflow y Bucket en SQLite
Tracking de Experimentos de Machine Learning con AWS y MLflow
Tracking del ciclo de vida de modelos de machine learning
Clasificación de Tickets con Procesamiento de Lenguaje Natural
Tracking de Datos y Modelado con MNLflow y Scikit-learn
Tracking de Métricas e Hiperparámetros con Validación Cruzada
Tracking de Modelos y Métricas con MLflow y CycleLearn
Optimización de Hiperparámetros en Modelos de Machine Learning
Creación y gestión de experimentos con MLflow y Scikit-Learn
Promoción y Gestión de Modelos en Azure con MLflow
Validación de Modelos de Machine Learning con MLflow y SciPy
Tracking y Trazabilidad en MLOps con MLflow
Orquestación de pipelines de machine learning
Creación de tareas en Prefect para flujos de Machine Learning
Creación de Flujos de Trabajo con Prefect para Machine Learning
Pipeline de Machine Learning para Clasificación de Tickets
Pipeline de Procesamiento y Entrenamiento de Modelos de Datos
Ejecución de Flujos de Trabajo con Prefect: Conceptos y Prácticas
Orquestación de Flujos Flexibles con Prefect y Python
Despliegue de modelo de machine learning
Despliegue de Aplicaciones con Docker y FAS API en AWS
Creación de Aplicación con PaaS API, Docker y Grafana
Preprocesamiento y Predicción de Texto en Modelos de Machine Learning
Configuración de Base de Datos en SQLModel y Docker Compose
Despliegue Local y en AWS de Aplicaciones con Docker y Postman
Implementación de Modelos en Entornos Productivos con AWS y Docker
Autoescalado y Entrega Continua de Modelos en Producción
Monitoreo de modelo de machine learning en producción
Monitoreo de Modelos en Producción: Estrategias y Métricas Clave
Monitoreo de Modelos en Producción: Calidad de Datos y Data Drift
Modelo de Clasificación con Support Vector Classifier
Análisis de Drift y Valores Faltantes con Evidently
Creación de Dashboards y Visualizaciones en Grafana para Machine Learning
Mejora de Procesos MLOps e Infraestructura Escalable
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
Orquestación de Flujos Flexibles con Prefect y Python
22/35¿Cuál es la importancia de evitar flujos lineales en el procesamiento de datos?
El proceso de manejo de datos en entornos complejos requiere estrategias que maximicen la eficiencia y optimicen el uso del tiempo y recursos. Una de las recomendaciones cruciales es evitar el uso de flujos lineales rígidos debido a que, si ocurre un error en alguna parte del proceso, obliga a reiniciar desde el principio. Este enfoque puede ser una pérdida significativa de tiempo y recursos, perjudicando el rendimiento del sistema y prolongando los tiempos de respuesta.
Un flujo lineal podría consistir en:
- Adquisición de datos desde una base de datos PostgreSQL.
- Manipulación de datos usando Pandas.
- Procesamiento mediante Scikit-Learn.
- Construcción de un modelo con la arquitectura XGBoost.
- Seguimiento del modelo con MLflow.
- Despliegue usando Flask.
Cualquier interrupción en este flujo, como un fallo durante el entrenamiento del modelo, requeriría un reinicio completo, lo cual es ineficiente.
¿Cómo se estructuran mejor los flujos de datos flexibles?
Adoptar un enfoque más flexible en la orquestación de flujos de datos es fundamental. Este tipo de flujos permite segregar las tareas en fases distintas y manejar los errores de manera eficiente, reanudando el proceso desde la etapa que falló. La separación de las etapas genera procesos modulares, lo que permite abordar y corregir errores localizados sin la necesidad de reiniciar todo el flujo.
Componentes clave de un flujo flexible incluyen:
- Identificación del problema y variables a analizar.
- Definición de métricas a optimizar según el negocio.
- Recolección y procesamiento de datos.
- Extracción de características, y aumento de datos si es necesario.
- Selección de modelos, validación de hiperparámetros, entrenamiento y análisis de errores.
- Evaluación y almacenamiento del modelo para su producción.
Este enfoque también facilita la reutilización de componentes individuales y procesos modulares.
¿Cuáles son las mejores prácticas en la orquestación de flujos de trabajo?
Al abordar la orquestación de flujos, se deben seguir algunas prácticas para asegurar que el proceso sea eficiente y que los errores se resuelvan rápidamente:
-
Buscar Flexibilidad: Optar por flujos flexibles que separen etapas críticas permite identificar y corregir errores sin comprometer etapas previas.
-
Tarea Específica: Cada tarea debe estar asociada a una función o acción particular, evitando tareas que abarquen múltiples acciones para facilitar la identificación de errores y refactorización futura.
-
Documentación Rigurosa: Mantener una documentación clara y detallada de cada flujo de trabajo asegura transparencia y trazabilidad en los procesos, permitiendo que cualquier miembro del equipo comprenda las acciones y decisiones tomadas.
Estas prácticas facilitan la adaptabilidad a cambios y garantizan operaciones más fluidas y menos propensas a errores.
¿Qué herramientas puedes usar para implementar estos flujos?
El uso de herramientas especializadas facilita la gestión de flujos de trabajo complejos. Un ejemplo es Prefect, una plataforma que permite la creación, ejecución y monitoreo de flujos de trabajo (flows) complejos. Al usar Prefect, se puede:
- Crear tasks y flows que dividen el trabajo en unidades manejables.
- Ejecutar y monitorear ejecuciones mediante el servidor de Prefect.
- Automatizar y coordinar procesos, asegurando integridad y rápida resolución de errores.<|vq_15876|>
Aportes 1
Preguntas 1
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?