Fase de entrenamiento del modelo

Clase 18 de 33 • Curso Profesional de Computer Vision con TensorFlow

Resumen

Instalar la librería de object Detection en Google Colab:

import os
%cd /content
!git clone --quiet https://github.com/tensorflow/models.git
%cd /content/models/
#!git checkout 58d19c67e1d30d905dd5c6e5092348658fed80af
!apt-get update && apt-get install -y -qq protobuf-compiler python-pil python-lxml python-tk
!pip install -q Cython contextlib2 pillow lxml matplotlib
!pip install -q pycocotools
%cd /content/models/research
!protoc object_detection/protos/*.proto --python_out=.
os.environ['PYTHONPATH'] += ':/content/models/research/:/content/models/research/slim/'
!python object_detection/builders/model_builder_test.py

Descargar los modelos pre-entrenados en este caso SSD + MobileNetV2

!wget --no-check-certificate http://download.tensorflow.org/models/object_detection/tf2/20200711/ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8.tar.gz \
-O /content/ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8.tar.gz

Anthony Ismael Manotoa Moreno

student•

Código para descargar los modelos pre-entrenados en este caso SSD + MobileNetV2

!wget --no-check-certificate http://download.tensorflow.org/models/object_detection/tf2/20200711/ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8.tar.gz \
-O /content/ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8.tar.gz

Raul Ernesto Almao Alvarado

student•

Hola buenas tardes como estan? a mi antes todo el modelo me corria a la perfeccion, pero dos dias para aca ya no me quiere correr las librerias de Object Detectetion en google cola y no se porque, me dice lo siguiente

2023-04-30 18:28:31.320814: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT Traceback (most recent call last): File "/content/models/research/object_detection/builders/model_builder_test.py", line 20, in <module> from object_detection.builders import model_builder File "/content/models/research/object_detection/builders/model_builder.py", line 25, in <module> from object_detection.builders import box_predictor_builder File "/content/models/research/object_detection/builders/box_predictor_builder.py", line 20, in <module> from object_detection.predictors import convolutional_box_predictor File "/content/models/research/object_detection/predictors/convolutional_box_predictor.py", line 25, in <module> from object_detection.core import box_predictor File "/content/models/research/object_detection/core/box_predictor.py", line 137, in <module> class KerasBoxPredictor(tf.keras.layers.Layer): File "/usr/local/lib/python3.10/dist-packages/tensorflow/python/util/lazy_loader.py", line 58, in getattr module = self._load() File "/usr/local/lib/python3.10/dist-packages/tensorflow/python/util/lazy_loader.py", line 41, in _load module = importlib.import_module(self.name) File "/usr/lib/python3.10/importlib/init.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "/usr/local/lib/python3.10/dist-packages/keras/init.py", line 25, in <module> from keras import models File "/usr/local/lib/python3.10/dist-packages/keras/models.py", line 20, in <module> from keras import metrics as metrics_module File "/usr/local/lib/python3.10/dist-packages/keras/metrics.py", line 26, in <module> from keras import activations File "/usr/local/lib/python3.10/dist-packages/keras/activations.py", line 20, in <module> from keras.layers import advanced_activations File "/usr/local/lib/python3.10/dist-packages/keras/layers/init.py", line 30, in <module> from keras.layers.preprocessing.image_preprocessing import CenterCrop File "/usr/local/lib/python3.10/dist-packages/keras/layers/preprocessing/image_preprocessing.py", line 23, in <module> from keras.preprocessing.image import smart_resize File "/usr/local/lib/python3.10/dist-packages/keras/preprocessing/init.py", line 19, in <module> import keras_preprocessing ModuleNotFoundError: No module named 'keras_preprocessing'

si me pueden ayudar se los agradecería mucho, saludos y feliz tarde

Adonai Vera

teacher•

Hola Raul Ernesto, Parece que es un problema de compatibilidades de versiones, si lo estas corriendo en tu pc te recomiendo crear un entorno virtual y volver a instalar todo con las mismas versiones del curso. Si estas en Google Colab intenta reiniciar el kernel y volver a instalar con las versiones.

Si ninguno de los dos te funciona, intenta instalar ese paquete en especifico:

!pip install Keras-Preprocessing

Me cuentas que tal te va, saludos

Raul Ernesto Almao Alvarado

student•

Hola profe @AdonaiVera, espero que se encuentre bien, trate de hacerlo con el comando que me envio y me aparecieron estos errores al instalar las librerias mas el que ya le habia enviado anteriormente, lo que me parece raro es que el modelo yo ya lo había corrido hace dos dias tal cual estaba en el curso y ya no me quiso correr mas

ERROR: Could not find a version that satisfies the requirement opencv-python-headless==4.5.2.52 (from versions: 3.4.10.37, 3.4.11.39, 3.4.11.41, 3.4.11.43, 3.4.11.45, 3.4.13.47, 3.4.15.55, 3.4.16.59, 3.4.17.61, 3.4.17.63, 3.4.18.65, 4.3.0.38, 4.4.0.40, 4.4.0.42, 4.4.0.44, 4.4.0.46, 4.5.1.48, 4.5.3.56, 4.5.4.58, 4.5.4.60, 4.5.5.62, 4.5.5.64, 4.6.0.66, 4.7.0.68, 4.7.0.72) ERROR: No matching distribution found for opencv-python-headless==4.5.2.52 Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ ERROR: Could not find a version that satisfies the requirement tensorflow==2.7.0 (from versions: 2.8.0rc0, 2.8.0rc1, 2.8.0, 2.8.1, 2.8.2, 2.8.3, 2.8.4, 2.9.0rc0, 2.9.0rc1, 2.9.0rc2, 2.9.0, 2.9.1, 2.9.2, 2.9.3, 2.10.0rc0, 2.10.0rc1, 2.10.0rc2, 2.10.0rc3, 2.10.0, 2.10.1, 2.11.0rc0, 2.11.0rc1, 2.11.0rc2, 2.11.0, 2.11.1, 2.12.0rc0, 2.12.0rc1, 2.12.0) ERROR: No matching distribution found for tensorflow==2.7.0 ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. tensorflow 2.12.0 requires keras<2.13,>=2.12.0, but you have keras 2.7.0 which is incompatible.

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. tensorflow 2.12.0 requires keras<2.13,>=2.12.0, but you have keras 2.7.0 which is incompatible. tensorflow 2.12.0 requires tensorboard<2.13,>=2.12, but you have tensorboard 2.7.0 which is incompatible. Successfully installed google-auth-oauthlib-0.4.6 tensorboard-2.7.0 tensorboard-data-server-0.6.1 Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ ERROR: Could not find a version that satisfies the requirement tensorflow-text==2.7.0 (from versions: 2.8.1, 2.8.2, 2.9.0rc0, 2.9.0rc1, 2.9.0, 2.10.0b2, 2.10.0rc0, 2.10.0, 2.11.0rc0, 2.11.0, 2.12.0rc0, 2.12.0, 2.12.1) ERROR: No matching distribution found for tensorflow-text==2.7.0

Federico Montero

student•

Tengo una duda, que debo tener en cuenta para usar ssd_mobilenet_v2_fpnlite.... o Yolo V5? Porque aprendi a usar Yolo v5 pero no se cual usar para detectar un objeto que surge de un etiquetado propio de objetos no tan comunes.

Adonai Vera

teacher•

Hola Federico, Lo primero que debes tener en cuenta es el framework base en donde se corre el algoritmo, puede ser que encuentres el algoritmo MobileNet con TensorFlow, Pytorch, Cafe (Son framework de deep learning, es como decir las herramientas para permitir que tu modelo se ejecute). El framework va a cambiar totalmente como se ejecuta el modelo, incluso afectara tiempos de procesamiento y accuracy del mismo. En el curso utilizamos TensorFlow, sin embargo la gran mayoría de códigos que ejecutan Yolo, utilizan frameworks como Pytorch, ONNX, entre otros.

En este caso la idea es que tomes los conceptos principales de aplicación porque el proceso de entrenamiento de YoloV5, no esta implementado en TensorFlow. Sin embargo hay una lista de modelo que únicamente cambiando el archivo de configuración y el modelo puedes entrenar utilizando el mismo código del curso. Aquí puedes revisar la lista. Model zoo

Podrías entrenar múltiples modelos dependiendo tu requerimiento en costo computacional y precisión.

Me cuentas como te va Federico, saludos

Sebastian Sarasti

student•

Durante el entrenamiento el modelo requiere las fotos y los TFrecords o solo los TFRecords? En mi caso realice el etiquetado en Roboflow, por lo que pude obtener directamente el TFRecord y los label. Además, por qué no se realiza otro subset de validación?

Adonai Vera

teacher•

Hola Sebastian Alejandro, Excelente pregunta, unicamente necesitas los TFrecords, este tipo de archivo ya contiene imagenes y etiquetado, no debes preocuparte por nada más. Roboflow es una excelente herramienta, los puedes exportar y eso seria lo unico que cargarias al Colab.

Si se puede dividir la base de datos tambien en entrenamiento, testeo y validación. Eso depende del criterio del programador que esta entrenando el modelo. Personalmente siempre uso validación, sin embargo en esta caso por el tamaño de la base de datos no lo hice (Muy pocas imagenes).

Me cuentas, saludos

Sebastian Sarasti

student•

Hola Adonai, muchas gracias por la respuesta. Me quedo muy claro. Eres de los mejores profesores de Platzi! Recomiendo que hagan un curso de YOLO.

Mario Alexander Vargas Celis

student•

La fase de entrenamiento del modelo es el proceso en el cual el modelo de machine learning aprende a reconocer patrones en los datos para realizar predicciones o clasificaciones. En TensorFlow, el proceso generalmente incluye la carga de datos, la definición del modelo, la configuración de parámetros de entrenamiento, y el ajuste del modelo con los datos de entrenamiento. Aquí te explico cada paso.

### 1. **Preparación de los datos**

Supongamos que ya tienes un conjunto de datos en formato **TFRecord**. Carguemos y preparemos los datos para el entrenamiento.

```python

import tensorflow as tf

# Función para leer y parsear el archivo TFRecord

def parse_tfrecord_fn(example):

feature_description = {

'image': tf.io.FixedLenFeature([], tf.string),

'label': tf.io.FixedLenFeature([], tf.int64),

}

parsed_example = tf.io.parse_single_example(example, feature_description)

image = tf.io.decode_jpeg(parsed_example['image'], channels=3) # Decodificar JPEG

image = tf.image.resize(image, [128, 128]) # Redimensionar

image = tf.cast(image, tf.float32) / 255.0 # Normalizar

label = parsed_example['label']

return image, label

# Cargar el dataset desde el archivo TFRecord

train_dataset = tf.data.TFRecordDataset('train_data.tfrecord')

train_dataset = train_dataset.map(parse_tfrecord_fn)

train_dataset = train_dataset.shuffle(buffer_size=1000).batch(32).prefetch(tf.data.AUTOTUNE)

```

### 2. **Definir el modelo**

Puedes definir un modelo usando la API tf.keras.Sequential o la API funcional de Keras. Aquí tienes un ejemplo de modelo simple de clasificación para imágenes.

```python

from tensorflow.keras import layers, models

model = models.Sequential([

layers.Conv2D(32, (3, 3), activation='relu', input_shape=(128, 128, 3)),

layers.MaxPooling2D((2, 2)),

layers.Conv2D(64, (3, 3), activation='relu'),

layers.MaxPooling2D((2, 2)),

layers.Conv2D(64, (3, 3), activation='relu'),

layers.Flatten(),

layers.Dense(64, activation='relu'),

layers.Dense(10, activation='softmax') # Asumiendo 10 clases

])

```

### 3. **Compilar el modelo**

La compilación del modelo define el optimizador, la función de pérdida, y las métricas a utilizar durante el entrenamiento.

```python

model.compile(optimizer='adam',

loss='sparse_categorical_crossentropy',

metrics=['accuracy'])

```

### 4. **Entrenar el modelo**

Ahora puedes entrenar el modelo usando el método fit de Keras, indicando los datos de entrenamiento y el número de épocas.

```python

# Entrenar el modelo

history = model.fit(train_dataset, epochs=10)

```

Aquí history guardará un registro de la pérdida y la precisión en cada época, que puede ayudarte a analizar el rendimiento del modelo.

### 5. **Evaluación del modelo**

Después del entrenamiento, evalúa el rendimiento del modelo en el conjunto de datos de prueba.

```python

# Cargar datos de prueba (TFRecord)

test_dataset = tf.data.TFRecordDataset('test_data.tfrecord')

test_dataset = test_dataset.map(parse_tfrecord_fn).batch(32)

# Evaluar el modelo

test_loss, test_accuracy = model.evaluate(test_dataset)

print(f"Precisión en datos de prueba: {test_accuracy:.2f}")

```

### 6. **Ajustes adicionales y visualización del entrenamiento**

Puedes visualizar el progreso del entrenamiento usando la información de history. Esto es útil para identificar problemas como el sobreajuste.

```python

import matplotlib.pyplot as plt

# Graficar pérdida y precisión

plt.plot(history.history['accuracy'], label='Precisión de entrenamiento')

plt.plot(history.history['loss'], label='Pérdida de entrenamiento')

plt.xlabel('Épocas')

plt.ylabel('Precisión / Pérdida')

plt.legend()

plt.show()

```

### Resumen

1. **Preparación de datos**: Se preprocesan y cargan los datos desde TFRecord.

2. **Definición del modelo**: Se configura una red neuronal que ajusta los datos de entrada.

3. **Compilación**: Se eligen el optimizador, la función de pérdida, y las métricas.

4. **Entrenamiento**: Se entrena el modelo con los datos de entrenamiento.

5. **Evaluación**: Se mide el rendimiento en los datos de prueba.

Esta estructura es común en proyectos de machine learning, especialmente en visión computarizada, y te permite ajustar el modelo gradualmente hasta obtener el rendimiento deseado.

Fase de entrenamiento del modelo

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución

Re-entrenamiento del modelo para obtener mejores resultados

Seguimiento de centroides con OpenCV

Configuración de los centroides con OpenCV

Algoritmo de dirección y conteo con OpenCV

Crea un ciclo de entrenamiento de tu modelo: MLOps

Producto con visión computarizada en producción

Prepara tu entorno en Google Cloud Platform

Carga y preprocesamiento de modelos

Postprocesamiento de modelos

Despliega y consume tu modelo en producción

Bonus: aprende a apagar las máquinas de GCP para evitar sobrecostos

Siguientes pasos en inteligencia artificial

Siguientes pasos en inteligencia artificial

Comparte tu proyecto de detección de vehículos en carretera y certifícate