Prepara tu entorno en Google Cloud Platform

Clase 27 de 33 • Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Comentarios

Marcos Aguayo

student•

Hola, veo que el coste son unos 100USD al mes, se paga por el uso? O sea por el tiempo que se ejecuta, o se reservan los recursos y te cobran por tenerlo ahi todo el tiempo?

Adonai Vera

teacher•

Hola Raquel, es una excelente pregunta. En este caso es el costo del servidor; si tu recibes o no request de inferencia siempre pagaras el mismo valor.

Otra opción podría ser activar una cloud function o un cloud run que habilite un servidor, ejecute el código y apague el servidor, de esa forma únicamente pagarias el tiempo que se demora en hacer inferencia.

Depende mucho de que tipo de aplicaciones quieras crear.

Me cuentas, saludos

Mario Alexander Vargas Celis

student•

Para implementar un flujo de MLOps en Google Cloud Platform (GCP), se pueden utilizar servicios como **Vertex AI**, **Cloud Storage**, **Cloud Build**, **Cloud Functions**, y **Artifact Registry**. A continuación, te guiaré en la configuración de un entorno básico de MLOps en GCP que incluye preparación de datos, entrenamiento de modelos, y despliegue en producción.

### 1. **Configurar el Proyecto en Google Cloud Platform**

Primero, necesitas un proyecto en GCP para alojar todos los recursos de la plataforma. Puedes hacerlo desde la consola de GCP o con el siguiente comando si tienes instalado el SDK de Google Cloud.


\# Configurar el proyecto de GCP

gcloud config set project \[PROJECT\_ID]

### 2. **Crear un Bucket en Google Cloud Storage**

Google Cloud Storage es ideal para almacenar datasets y modelos entrenados.


\# Crear un bucket de almacenamiento en GCP para los datos y modelos

gsutil mb -l us-central1 gs://\[NOMBRE\_BUCKET]

**Nota**: Reemplaza \[NOMBRE\_BUCKET] con un nombre único y \[PROJECT\_ID] con el ID de tu proyecto.

### 3. **Configurar Vertex AI para Entrenamiento de Modelos**

Vertex AI permite entrenar modelos a escala en GCP, ideal para entrenamientos de larga duración o grandes volúmenes de datos.

#### a. **Crear el Entorno de Entrenamiento en Vertex AI**

1. En la consola de Google Cloud, navega a **Vertex AI > Entrenamiento**.

2. Selecciona **Entrenamiento personalizado**.

3. Elige un tipo de máquina, por ejemplo, n1-standard-4, y configura el contenedor con una imagen de entrenamiento personalizada o una imagen preconfigurada de TensorFlow, PyTorch, o Scikit-learn.

#### b. **Subir el Script de Entrenamiento al Bucket de GCS**

Guarda tus scripts de entrenamiento (train.py, por ejemplo) en el bucket de GCS.


\# Subir el script de entrenamiento

gsutil cp src/train.py gs://\[NOMBRE\_BUCKET]/scripts/train.py

### 4. **Crear una Imagen de Entrenamiento Personalizada (Opcional)**

Si tu modelo requiere dependencias específicas, puedes crear una imagen Docker personalizada y alojarla en **Artifact Registry** para usarla en Vertex AI.

#### a. **Configurar Artifact Registry**


\# Crear un repositorio de Artifact Registry

gcloud artifacts repositories create my-repo --repository-format=docker --location=us-central1

#### b. **Crear y Publicar la Imagen Docker**

En tu proyecto, crea un archivo Dockerfile para tu entorno de entrenamiento personalizado:


\# Dockerfile

FROM python:3.8-slim

WORKDIR /app

COPY requirements.txt requirements.txt

RUN pip install -r requirements.txt

COPY . .

Compila y sube la imagen al registro:


\# Autenticar Docker con GCP

gcloud auth configure-docker us-central1-docker.pkg.dev



\# Compilar la imagen Docker

docker build -t us-central1-docker.pkg.dev/\[PROJECT\_ID]/my-repo/my-ml-image .



\# Subir la imagen a Artifact Registry

docker push us-central1-docker.pkg.dev/\[PROJECT\_ID]/my-repo/my-ml-image

### 5. **Configurar DVC para el Versionado de Datos en GCS**

Usar **DVC** con **Google Cloud Storage** permite versionar los datos y mantener el control de datasets grandes.


\# Configurar un remote de DVC apuntando a GCS

dvc remote add -d myremote gs://\[NOMBRE\_BUCKET]/dvc

dvc remote modify myremote --local credentialpath ~/.config/gcloud/application\_default\_credentials.json

### 6. **Automatizar Entrenamiento con Cloud Build**

**Cloud Build** permite crear un pipeline de CI/CD para ejecutar el entrenamiento del modelo y guardar el modelo entrenado en el bucket de GCS.

#### a. **Crear Archivo de Configuración de Cloud Build**

En la raíz de tu proyecto, crea un archivo cloudbuild.yaml para definir el pipeline:


\# cloudbuild.yaml

steps:

&#x20; \- name: 'gcr.io/cloud-builders/gcloud'

&#x20;   args: \['ai-platform', 'jobs', 'submit', 'training', 'train\_job\_{{BUILD\_ID}}',

&#x20;          '--region', 'us-central1',

&#x20;          '--module-name', 'trainer.task',

&#x20;          '--package-path', './src',

&#x20;          '--job-dir', 'gs://\[NOMBRE\_BUCKET]/models/{{BUILD\_ID}}/',

&#x20;          '--runtime-version', '2.8',

&#x20;          '--python-version', '3.8']

timeout: '3600s'

#### b. **Ejecutar Cloud Build**

Cada vez que ejecutes el siguiente comando, Cloud Build entrenará el modelo en Vertex AI y guardará el modelo en el bucket de GCS.


gcloud builds submit --config cloudbuild.yaml .

### 7. **Despliegue del Modelo con Vertex AI Endpoint**

1. Una vez entrenado, puedes desplegar el modelo en un endpoint de Vertex AI para servir predicciones.

2. Dirígete a **Vertex AI > Modelos** en la consola de GCP.

3. Selecciona **Implementar en un endpoint** y elige el modelo entrenado.

### 8. **Configuración de Predicción en Tiempo Real con Cloud Functions (Opcional)**

Si quieres exponer el endpoint como una API, puedes utilizar **Cloud Functions** para crear una función que llame al endpoint de Vertex AI.

#### a. **Crear la Función en main.py**


\# main.py

import google.auth

from google.cloud import aiplatform

from flask import Flask, request, jsonify



app = Flask(\_\_name\_\_)



\# Inicializar cliente de Vertex AI

\_, project = google.auth.default()

aiplatform.init(project=project, location="us-central1")



@app.route('/predict', methods=\['POST'])

def predict():

&#x20;   content = request.get\_json()

&#x20;   endpoint = aiplatform.Endpoint(endpoint\_name="projects/\[PROJECT\_ID]/locations/us-central1/endpoints/\[ENDPOINT\_ID]")

&#x20;  &#x20;

&#x20;   \# Realizar predicción

&#x20;   prediction = endpoint.predict(instances=\[content\['data']])

&#x20;   return jsonify({"predictions": prediction})

#### b. **Implementar la Función en Cloud Functions**


gcloud functions deploy my\_predict\_function \\

&#x20;   \--runtime python38 \\

&#x20;   \--trigger-http \\

&#x20;   \--allow-unauthenticated \\

&#x20;   \--entry-point app \\

&#x20;   \--project \[PROJECT\_ID] \\

&#x20;   \--region us-central1

### Resumen del Flujo Completo

Este flujo de trabajo te permite:

1. **Versionar Datos y Código**: DVC y Git se encargan del versionado de datos y scripts.

2. **Entrenamiento Automatizado**: Cloud Build y Vertex AI orquestan el entrenamiento del modelo en la nube.

3. **Despliegue del Modelo**: Vertex AI sirve el modelo en un endpoint.

4. **Predicción en Tiempo Real**: Cloud Functions expone el modelo como una API para predicciones en tiempo real.

Este entorno en Google Cloud Platform se puede escalar para incluir más funcionalidades avanzadas como monitorización de modelos, tuning de hiperparámetros y mantenimiento continuo del pipeline, logrando una solución de MLOps completa.

\# Autenticar Docker con GCP

gcloud auth configure-docker us-central1-docker.pkg.dev

\# Compilar la imagen Docker

docker build -t us-central1-docker.pkg.dev/\[PROJECT\_ID]/my-repo/my-ml-image .

\# Subir la imagen a Artifact Registry

docker push us-central1-docker.pkg.dev/\[PROJECT\_ID]/my-repo/my-ml-image

\# Configurar un remote de DVC apuntando a GCS

dvc remote add -d myremote gs://\[NOMBRE\_BUCKET]/dvc

dvc remote modify myremote --local credentialpath ~/.config/gcloud/application\_default\_credentials.json

\# cloudbuild.yaml

steps:

&#x20; \- name: 'gcr.io/cloud-builders/gcloud'

&#x20;   args: \['ai-platform', 'jobs', 'submit', 'training', 'train\_job\_{{BUILD\_ID}}',

&#x20;          '--region', 'us-central1',

&#x20;          '--module-name', 'trainer.task',

&#x20;          '--package-path', './src',

&#x20;          '--job-dir', 'gs://\[NOMBRE\_BUCKET]/models/{{BUILD\_ID}}/',

&#x20;          '--runtime-version', '2.8',

&#x20;          '--python-version', '3.8']

timeout: '3600s'

\# main.py

import google.auth

from google.cloud import aiplatform

from flask import Flask, request, jsonify

app = Flask(\_\_name\_\_)

\# Inicializar cliente de Vertex AI

\_, project = google.auth.default()

aiplatform.init(project=project, location="us-central1")

@app.route('/predict', methods=\['POST'])

def predict():

&#x20;   content = request.get\_json()

&#x20;   endpoint = aiplatform.Endpoint(endpoint\_name="projects/\[PROJECT\_ID]/locations/us-central1/endpoints/\[ENDPOINT\_ID]")

&#x20;  &#x20;

&#x20;   \# Realizar predicción

&#x20;   prediction = endpoint.predict(instances=\[content\['data']])

&#x20;   return jsonify({"predictions": prediction})

gcloud functions deploy my\_predict\_function \\

&#x20;   \--runtime python38 \\

&#x20;   \--trigger-http \\

&#x20;   \--allow-unauthenticated \\

&#x20;   \--entry-point app \\

&#x20;   \--project \[PROJECT\_ID] \\

&#x20;   \--region us-central1

Prepara tu entorno en Google Cloud Platform

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción