Crea un ciclo de entrenamiento de tu modelo: MLOps

Clase 26 de 33 • Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Comentarios

Carlos Alejandro Pinzon Araque

student•

igual el sistema de multas, que tiene argentina, que te muestra el lugar, foto de la plata (patente), y genera la multa

Salvatore Josue Trimarchi Pinto

student•

Aprendizaje constante

Mario Alexander Vargas Celis

student•

Crear un ciclo de entrenamiento automatizado es un paso fundamental en MLOps, ya que permite desarrollar, probar y desplegar modelos de manera continua y confiable. Para configurar un ciclo de entrenamiento en un flujo de MLOps, es común usar herramientas como **Docker**, **Git**, **DVC (Data Version Control)**, **MLFlow** y servicios de CI/CD (como **GitHub Actions** o **Jenkins**) para orquestar el proceso. Este pipeline automatiza las tareas de preparación de datos, entrenamiento del modelo, validación y despliegue.

A continuación, te muestro un flujo básico de un ciclo de entrenamiento automatizado utilizando Python y MLFlow para el registro de experimentos, DVC para la gestión de datos y GitHub Actions como herramienta de CI/CD.

### 1. **Estructura del Proyecto**

Tu estructura de directorios puede verse así:


my\_ml\_project/

├── data/                   # Datos versionados con DVC

├── models/                 # Carpeta para guardar el modelo entrenado

├── notebooks/              # Notebooks para exploración de datos y prototipado

├── src/                    # Código fuente de scripts de entrenamiento y evaluación

│   ├── train.py            # Script principal de entrenamiento

│   ├── evaluate.py         # Script para evaluación del modelo

│   └── utils.py            # Funciones auxiliares

├── dvc.yaml                # Configuración de pipeline DVC

├── mlflow\_tracking/        # Carpeta para el registro de MLFlow

├── Dockerfile              # Definición del contenedor Docker

├── requirements.txt        # Librerías requeridas

└── .github/workflows/      # Flujos de trabajo de GitHub Actions

&#x20;   └── train\_model.yml     # Pipeline de entrenamiento automatizado

### 2. **Configuración del Entrenamiento en train.py**

Este script realiza el entrenamiento del modelo, registra los parámetros y resultados en MLFlow, y guarda el modelo entrenado.


\# src/train.py

import mlflow

import dvc.api

import pandas as pd

from sklearn.ensemble import RandomForestClassifier

from sklearn.model\_selection import train\_test\_split

from sklearn.metrics import accuracy\_score

import joblib



\# Configuración de MLFlow

mlflow.set\_tracking\_uri("file:./mlflow\_tracking")

mlflow.set\_experiment("MyModelExperiment")



def train():

&#x20;   \# Cargar los datos versionados con DVC

&#x20;   data\_url = dvc.api.get\_url("data/dataset.csv")

&#x20;   data = pd.read\_csv(data\_url)

&#x20;  &#x20;

&#x20;   \# Preparar los datos

&#x20;   X = data.drop("target", axis=1)

&#x20;   y = data\["target"]

&#x20;   X\_train, X\_test, y\_train, y\_test = train\_test\_split(X, y, test\_size=0.2, random\_state=42)

&#x20;  &#x20;

&#x20;   \# Configuración de hiperparámetros

&#x20;   params = {

&#x20;       "n\_estimators": 100,

&#x20;       "max\_depth": 5,

&#x20;       "random\_state": 42

&#x20;   }

&#x20;  &#x20;

&#x20;   \# Entrenamiento

&#x20;   with mlflow.start\_run():

&#x20;       model = RandomForestClassifier(\*\*params)

&#x20;       model.fit(X\_train, y\_train)

&#x20;      &#x20;

&#x20;       \# Evaluación

&#x20;       predictions = model.predict(X\_test)

&#x20;       accuracy = accuracy\_score(y\_test, predictions)

&#x20;      &#x20;

&#x20;       \# Registro de métricas y parámetros en MLFlow

&#x20;       mlflow.log\_params(params)

&#x20;       mlflow.log\_metric("accuracy", accuracy)

&#x20;      &#x20;

&#x20;       \# Guardar el modelo entrenado

&#x20;       joblib.dump(model, "models/model.joblib")

&#x20;       mlflow.log\_artifact("models/model.joblib")



if \_\_name\_\_ == "\_\_main\_\_":

&#x20;   train()

### 3. **Configuración de GitHub Actions para CI/CD (train\_model.yml)**

GitHub Actions permite definir un flujo automatizado para ejecutar el ciclo de entrenamiento cada vez que hay cambios en el código. Este archivo YAML configura el flujo en GitHub Actions.


\# .github/workflows/train\_model.yml

name: Train Model



on:

&#x20; push:

&#x20;   branches:

&#x20;     \- main

&#x20; workflow\_dispatch:



jobs:

&#x20; train\_model:

&#x20;   runs-on: ubuntu-latest



&#x20;   steps:

&#x20;     \- name: Check out the repository

&#x20;       uses: actions/checkout@v2



&#x20;     \- name: Set up Python

&#x20;       uses: actions/setup-python@v2

&#x20;       with:

&#x20;         python-version: '3.8'



&#x20;     \- name: Install dependencies

&#x20;       run: |

&#x20;         python -m pip install --upgrade pip

&#x20;         pip install -r requirements.txt



&#x20;     \- name: Install DVC

&#x20;       run: |

&#x20;         pip install dvc

&#x20;         dvc pull



&#x20;     \- name: Run training script

&#x20;       run: |

&#x20;         python src/train.py



&#x20;     \- name: Upload model artifact

&#x20;       uses: actions/upload-artifact@v2

&#x20;       with:

&#x20;         name: model

&#x20;         path: models/model.joblib

### 4. **Configuración de DVC para la Gestión de Datos**

DVC permite versionar datasets grandes y mantener el control de versiones en Git. Puedes inicializar DVC en el proyecto y luego agregar datos.


\# Inicializar DVC y agregar datos

dvc init

dvc add data/dataset.csv



\# Trackear en Git

git add data/dataset.csv.dvc .gitignore

git commit -m "Agregar dataset a DVC"



\# Configurar almacenamiento remoto (e.g., S3, Google Drive, etc.)

dvc remote add -d myremote s3://mybucket/path

dvc push

### 5. **Configurar MLFlow para el Registro de Experimentos**

Puedes iniciar un servidor local de MLFlow para visualizar los experimentos ejecutando:


mlflow ui --backend-store-uri file:./mlflow\_tracking

Esto abrirá una interfaz web donde podrás ver las métricas y parámetros registrados durante cada ejecución del modelo.

### 6. **Ejecución del Pipeline Completo**

1. **Entrenamiento Local**:

Puedes ejecutar el script de entrenamiento localmente para probar el flujo antes de automatizarlo en GitHub Actions.

```bash

python src/train.py

```

2. **Automatización en CI/CD**:

Cada vez que empujes cambios al repositorio en la rama main, GitHub Actions ejecutará el pipeline completo:

- Verificará el repositorio.

- Configurará el entorno e instalará dependencias.

- Sincronizará los datos con DVC.

- Ejecutará el ciclo de entrenamiento.

- Subirá el modelo generado como un artefacto de la ejecución.

### 7. **Implementación de Validación y Despliegue**

Para una implementación completa en MLOps, agrega pasos de validación y, opcionalmente, despliegue del modelo a un entorno de producción después de evaluar la calidad del modelo. Para esto podrías crear una etapa adicional en GitHub Actions o configurar otro flujo de CI/CD.

### Resumen

Este pipeline básico cubre los siguientes pasos clave de MLOps:

- **Versionado de Datos**: DVC maneja la versión de datos, mientras que Git controla el código.

- **Registro de Experimentos**: MLFlow almacena los parámetros y métricas de cada ejecución.

- **Automatización de Entrenamiento**: GitHub Actions o cualquier otra herramienta de CI/CD ejecuta el entrenamiento en cada cambio.

- **Versionado de Modelos**: Almacena el modelo resultante en el repositorio o un sistema de almacenamiento remoto (como S3).

Este flujo establece una base sólida que puedes escalar en función de necesidades específicas, como validación, despliegue y monitorización en producción.

my\_ml\_project/

├── data/                   # Datos versionados con DVC

├── models/                 # Carpeta para guardar el modelo entrenado

├── notebooks/              # Notebooks para exploración de datos y prototipado

├── src/                    # Código fuente de scripts de entrenamiento y evaluación

│   ├── train.py            # Script principal de entrenamiento

│   ├── evaluate.py         # Script para evaluación del modelo

│   └── utils.py            # Funciones auxiliares

├── dvc.yaml                # Configuración de pipeline DVC

├── mlflow\_tracking/        # Carpeta para el registro de MLFlow

├── Dockerfile              # Definición del contenedor Docker

├── requirements.txt        # Librerías requeridas

└── .github/workflows/      # Flujos de trabajo de GitHub Actions

&#x20;   └── train\_model.yml     # Pipeline de entrenamiento automatizado

\# src/train.py

import mlflow

import dvc.api

import pandas as pd

from sklearn.ensemble import RandomForestClassifier

from sklearn.model\_selection import train\_test\_split

from sklearn.metrics import accuracy\_score

import joblib

\# Configuración de MLFlow

mlflow.set\_tracking\_uri("file:./mlflow\_tracking")

mlflow.set\_experiment("MyModelExperiment")

def train():

&#x20;   \# Cargar los datos versionados con DVC

&#x20;   data\_url = dvc.api.get\_url("data/dataset.csv")

&#x20;   data = pd.read\_csv(data\_url)

&#x20;  &#x20;

&#x20;   \# Preparar los datos

&#x20;   X = data.drop("target", axis=1)

&#x20;   y = data\["target"]

&#x20;   X\_train, X\_test, y\_train, y\_test = train\_test\_split(X, y, test\_size=0.2, random\_state=42)

&#x20;  &#x20;

&#x20;   \# Configuración de hiperparámetros

&#x20;   params = {

&#x20;       "n\_estimators": 100,

&#x20;       "max\_depth": 5,

&#x20;       "random\_state": 42

&#x20;   }

&#x20;  &#x20;

&#x20;   \# Entrenamiento

&#x20;   with mlflow.start\_run():

&#x20;       model = RandomForestClassifier(\*\*params)

&#x20;       model.fit(X\_train, y\_train)

&#x20;      &#x20;

&#x20;       \# Evaluación

&#x20;       predictions = model.predict(X\_test)

&#x20;       accuracy = accuracy\_score(y\_test, predictions)

&#x20;      &#x20;

&#x20;       \# Registro de métricas y parámetros en MLFlow

&#x20;       mlflow.log\_params(params)

&#x20;       mlflow.log\_metric("accuracy", accuracy)

&#x20;      &#x20;

&#x20;       \# Guardar el modelo entrenado

&#x20;       joblib.dump(model, "models/model.joblib")

&#x20;       mlflow.log\_artifact("models/model.joblib")

if \_\_name\_\_ == "\_\_main\_\_":

&#x20;   train()

\# .github/workflows/train\_model.yml

name: Train Model

on:

&#x20; push:

&#x20;   branches:

&#x20;     \- main

&#x20; workflow\_dispatch:

jobs:

&#x20; train\_model:

&#x20;   runs-on: ubuntu-latest

&#x20;   steps:

&#x20;     \- name: Check out the repository

&#x20;       uses: actions/checkout@v2

&#x20;     \- name: Set up Python

&#x20;       uses: actions/setup-python@v2

&#x20;       with:

&#x20;         python-version: '3.8'

&#x20;     \- name: Install dependencies

&#x20;       run: |

&#x20;         python -m pip install --upgrade pip

&#x20;         pip install -r requirements.txt

&#x20;     \- name: Install DVC

&#x20;       run: |

&#x20;         pip install dvc

&#x20;         dvc pull

&#x20;     \- name: Run training script

&#x20;       run: |

&#x20;         python src/train.py

&#x20;     \- name: Upload model artifact

&#x20;       uses: actions/upload-artifact@v2

&#x20;       with:

&#x20;         name: model

&#x20;         path: models/model.joblib

\# Inicializar DVC y agregar datos

dvc init

dvc add data/dataset.csv

\# Trackear en Git

git add data/dataset.csv.dvc .gitignore

git commit -m "Agregar dataset a DVC"

\# Configurar almacenamiento remoto (e.g., S3, Google Drive, etc.)

dvc remote add -d myremote s3://mybucket/path

dvc push

Crea un ciclo de entrenamiento de tu modelo: MLOps

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV