Fine-tuning en detección de objetos: visualización de objetos

Clase 21 de 31 • Curso de Detección y Segmentación de Objetos con TensorFlow

Clase anteriorSiguiente clase

Juan Ignacio Barroso

student•

Sergio Paniego

teacher•

Un resultado curioso :)

Gabriel Ichcanziho Pérez Landa

student•

Una vez entrenado el modelo, cómo se guarda el mismo? Quiero decir cómo lo exporto para poder hacer inferencia?

Sergio Paniego

teacher•

El modelo se puede guardar con la función .save() que ofrece el modelo. Puedes revisar este link para tener más detalles sobre cómo guardar y cargar el modelo

Ignacio Ríos

student•

¿cómo puedo obtener una metrica global para el entrenamiento realizado?

Sergio Paniego

teacher•

Hola!

Podemos utilizar la pérdida del modelo como métrica del entrenamiento. Tienes más detalles en el vídeo anterior.

Un saludo!

Mario Alexander Vargas Celis

student•

Para visualizar las predicciones del modelo durante o después del *fine-tuning*, puedes utilizar un conjunto de datos de prueba y las herramientas de visualización de TensorFlow o matplotlib. Esto te permitirá ver cómo el modelo identifica y etiqueta los objetos en las imágenes. Aquí te explico cómo realizar este proceso:

### 1. **Cargar el Modelo Exportado**

Primero, carga el modelo que has entrenado y exportado. Asegúrate de tener la ruta correcta al modelo exportado y carga el SavedModel con TensorFlow.

```python

import tensorflow as tf

# Cargar el modelo exportado

modelo_exportado_path = "ruta_a_modelo_exportado/saved_model"

detect_fn = tf.saved_model.load(modelo_exportado_path)

```

### 2. **Preprocesar la Imagen**

Para visualizar la detección, selecciona una imagen de prueba y prepárala para su procesamiento. Normalmente, el modelo espera tensores en formato de float32.

```python

import numpy as np

import cv2

# Cargar una imagen de prueba

image_path = "ruta_a_tu_imagen_de_prueba.jpg"

image_np = cv2.imread(image_path)

image_np = cv2.cvtColor(image_np, cv2.COLOR_BGR2RGB) # Convertir BGR a RGB si usas OpenCV

# Convertir la imagen a un tensor

input_tensor = tf.convert_to_tensor(np.expand_dims(image_np, 0), dtype=tf.float32)

```

### 3. **Hacer la Predicción**

Utiliza el modelo para hacer predicciones sobre la imagen. Esto producirá información sobre las *bounding boxes*, las clases y las puntuaciones de confianza.

```python

detections = detect_fn(input_tensor)

# Extraer información de las detecciones

num_detections = int(detections.pop('num_detections'))

detections = {key: value[0, :num_detections].numpy() for key, value in detections.items()}

detections['num_detections'] = num_detections

# Convertir las clases a enteros

detections['detection_classes'] = detections['detection_classes'].astype(np.int64)

```

### 4. **Visualizar las Detecciones en la Imagen**

Utiliza las utilidades de matplotlib y TensorFlow Object Detection para dibujar las *bounding boxes* y las etiquetas de los objetos en la imagen.

```python

import matplotlib.pyplot as plt

from object_detection.utils import visualization_utils as viz_utils

# Visualizar detecciones en la imagen

label_map_path = "ruta_a_label_map/label_map.pbtxt"

category_index = label_map_util.create_category_index_from_labelmap(label_map_path, use_display_name=True)

image_np_with_detections = image_np.copy()

viz_utils.visualize_boxes_and_labels_on_image_array(

image_np_with_detections,

detections['detection_boxes'],

detections['detection_classes'],

detections['detection_scores'],

category_index,

use_normalized_coordinates=True,

max_boxes_to_draw=10,

min_score_thresh=0.5, # Cambia este umbral según necesites

agnostic_mode=False

)

plt.figure(figsize=(12, 8))

plt.imshow(image_np_with_detections)

plt.axis('off')

plt.show()

```

- En el código, visualize\_boxes\_and\_labels\_on\_image\_array dibuja las *bounding boxes* en la imagen, con las etiquetas de clases y puntuaciones de confianza.

- Puedes ajustar min\_score\_thresh para definir el umbral de puntuación mínima y visualizar solo las detecciones con una cierta probabilidad.

### 5. **Parámetros y Ajustes Adicionales**

- **Umbral de Puntuación** (min\_score\_thresh): Puedes experimentar con este valor para ajustar el nivel de confianza mínimo necesario para que un objeto se visualice.

- **Cantidad de Detecciones** (max\_boxes\_to\_draw): Controla cuántas detecciones se muestran, útil si la imagen tiene muchos objetos.

- **Colores y Estilos**: Personaliza los colores o estilos de las *bounding boxes* en visualization\_utils para destacar mejor los objetos.

### Ejemplo Completo

Combina estos pasos en una función que toma la ruta de la imagen y la ruta del modelo y luego muestra la imagen con las detecciones:


def mostrar\_detecciones(modelo\_exportado\_path, image\_path, label\_map\_path):

&#x20;   \# Cargar el modelo

&#x20;   detect\_fn = tf.saved\_model.load(modelo\_exportado\_path)

&#x20;  &#x20;

&#x20;   \# Cargar imagen

&#x20;   image\_np = cv2.imread(image\_path)

&#x20;   image\_np = cv2.cvtColor(image\_np, cv2.COLOR\_BGR2RGB)



&#x20;   \# Procesar imagen

&#x20;   input\_tensor = tf.convert\_to\_tensor(np.expand\_dims(image\_np, 0), dtype=tf.float32)

&#x20;   detections = detect\_fn(input\_tensor)

&#x20;  &#x20;

&#x20;   \# Procesar detecciones

&#x20;   num\_detections = int(detections.pop('num\_detections'))

&#x20;   detections = {key: value\[0, :num\_detections].numpy() for key, value in detections.items()}

&#x20;   detections\['num\_detections'] = num\_detections

&#x20;   detections\['detection\_classes'] = detections\['detection\_classes'].astype(np.int64)



&#x20;   \# Visualización

&#x20;   category\_index = label\_map\_util.create\_category\_index\_from\_labelmap(label\_map\_path, use\_display\_name=True)

&#x20;   viz\_utils.visualize\_boxes\_and\_labels\_on\_image\_array(

&#x20;       image\_np,

&#x20;       detections\['detection\_boxes'],

&#x20;       detections\['detection\_classes'],

&#x20;       detections\['detection\_scores'],

&#x20;       category\_index,

&#x20;       use\_normalized\_coordinates=True,

&#x20;       max\_boxes\_to\_draw=10,

&#x20;       min\_score\_thresh=0.5,

&#x20;       agnostic\_mode=False

&#x20;   )



&#x20;   \# Mostrar la imagen con detecciones

&#x20;   plt.figure(figsize=(12, 8))

&#x20;   plt.imshow(image\_np)

&#x20;   plt.axis('off')

&#x20;   plt.show()

Con esta función, puedes pasar cualquier imagen y modelo para ver las detecciones y evaluar visualmente cómo está funcionando el modelo después del *fine-tuning*.

Fine-tuning en detección de objetos: visualización de objetos

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate