Visualización de IoU en object detection

Clase 5 de 31 • Curso de Detección y Segmentación de Objetos con TensorFlow

Santiago Ahumada Lozano

student•

Para quienes no les funcione la visualización intenten cambiar esto

example = ([680, 380, 830, 580], [700, 400, 840, 600])

Creo que es porque la imagen que descargamos tiene diferentes dimensiones a las del profe Sergio.

Rafael Rivera

student•

Gracias por el aporte

Aline Danae Campos Galleguillos

student•

esto me funciono , gracias

Ernesto Ormeño

student•

Si los bounding boxes no aparecen, pueden hacer un resize de la image a 2850 así:

image = cv2.resize(image, dsize=(2850, 2850))

Como estaba leyendo en los aportes, creo que se debe a que las dimensiones de la que descargamos son diferentes a la del profesor. A mi me funcionó hacer el resize, espero que también les sirva :).

Jean Pierre Brik López Vargas

student•

Si, con ese cambio de tamaño me funcionó también.

Gabriel Martins Santos

student•

grandiooooso, awebo :D

Adrian Alberto Rodriguez

student•

La imagen compartida no cuenta con las mismas dimensiones que la del profesor, pero el IoU más acercado usando valores de posición cerrados que obtuve fue con estas medidas

example = ([670, 430, 800, 550], [670, 430, 780, 550])

También me encontré con otro problema, yo estoy utilizando PyCharm para llevarlo a un entorno de producción y con el código del profesor no lograba hacer aparecer los rectángulos. Lo que me funciono fue agregar esta línea de código justo antes de plt.show()

ax.add_patch(rect)
ax.plot() //Línea agregada
plt.show()

María Camila Durango Barrera

teacher•

la tupla con las listas en examples vienen a indicar las dimensiones de (Xmin, Ymin, Xmáx, Ymáx) del bounding box??

Sergio Paniego

teacher•

Hola! Sí, es correcto! Con esas dimensiones podemos generar el bounding box.

Mario Alexander Vargas Celis

student•

Para visualizar el IoU (Intersection over Union) en detección de objetos, necesitas superponer las cajas (ground truth y predicción) sobre una imagen y mostrar la región de intersección. Aquí te explico cómo hacerlo paso a paso usando matplotlib.

### Código para Visualizar IoU

1. **Dibuja las cajas delimitadoras (bounding boxes)**.

2. **Calcula la región de intersección y dibújala**.

3. **Muestra el valor de IoU en la imagen**.

Aquí tienes un ejemplo de código para visualizar el IoU:


import matplotlib.pyplot as plt

import matplotlib.patches as patches



def bb\_intersection\_over\_union(boxA, boxB):

&#x20;   \# Coordenadas de la intersección

&#x20;   xA = max(boxA\[0], boxB\[0])

&#x20;   yA = max(boxA\[1], boxB\[1])

&#x20;   xB = min(boxA\[2], boxB\[2])

&#x20;   yB = min(boxA\[3], boxB\[3])

&#x20;  &#x20;

&#x20;   \# Área de la intersección

&#x20;   intersection\_area = max(0, xB - xA) \* max(0, yB - yA)

&#x20;  &#x20;

&#x20;   \# Áreas de las cajas

&#x20;   boxA\_area = (boxA\[2] - boxA\[0]) \* (boxA\[3] - boxA\[1])

&#x20;   boxB\_area = (boxB\[2] - boxB\[0]) \* (boxB\[3] - boxB\[1])

&#x20;  &#x20;

&#x20;   \# Cálculo del IoU

&#x20;   iou = intersection\_area / float(boxA\_area + boxB\_area - intersection\_area)

&#x20;  &#x20;

&#x20;   return iou, (xA, yA, xB, yB)



\# Cajas de ejemplo \[x\_min, y\_min, x\_max, y\_max]

boxA = \[50, 50, 150, 150]  # Ground truth

boxB = \[80, 80, 180, 180]  # Predicción



iou, intersection\_box = bb\_intersection\_over\_union(boxA, boxB)



\# Visualización

fig, ax = plt.subplots(1, figsize=(8, 8))

ax.set\_title(f"IoU: {iou:.2f}")

ax.imshow(np.ones((200, 200, 3)))  # Imagen de fondo (por simplicidad, es un rectángulo blanco)



\# Dibujar la caja ground truth

rectA = patches.Rectangle((boxA\[0], boxA\[1]), boxA\[2] - boxA\[0], boxA\[3] - boxA\[1],

&#x20;                         linewidth=2, edgecolor='g', facecolor='none', label="Ground Truth")

ax.add\_patch(rectA)



\# Dibujar la caja de predicción

rectB = patches.Rectangle((boxB\[0], boxB\[1]), boxB\[2] - boxB\[0], boxB\[3] - boxB\[1],

&#x20;                         linewidth=2, edgecolor='b', facecolor='none', label="Prediction")

ax.add\_patch(rectB)



\# Dibujar la región de intersección

if intersection\_box\[2] > intersection\_box\[0] and intersection\_box\[3] > intersection\_box\[1]:

&#x20;   intersection\_rect = patches.Rectangle((intersection\_box\[0], intersection\_box\[1]),

&#x20;                                         intersection\_box\[2] - intersection\_box\[0],

&#x20;                                         intersection\_box\[3] - intersection\_box\[1],

&#x20;                                         linewidth=2, edgecolor='r', facecolor='red', alpha=0.3, label="Intersection")

&#x20;   ax.add\_patch(intersection\_rect)



plt.legend(loc='upper right')

plt.show()

### Explicación del Código:

- **bb\_intersection\_over\_union**: Calcula el área de intersección entre dos cajas y devuelve el IoU.

- **matplotlib.patches.Rectangle**: Se utiliza para dibujar las cajas sobre la imagen.

- **Intersección**: Se dibuja con un color diferente para destacar la región de superposición.

### Resultado:

Este código superpone las cajas y muestra visualmente la intersección en rojo, junto con el valor del IoU en el título de la gráfica. Esto es útil para entender visualmente cómo se solapan las predicciones y los valores reales en la detección de objetos.

import matplotlib.pyplot as plt

import matplotlib.patches as patches

def bb\_intersection\_over\_union(boxA, boxB):

&#x20;   \# Coordenadas de la intersección

&#x20;   xA = max(boxA\[0], boxB\[0])

&#x20;   yA = max(boxA\[1], boxB\[1])

&#x20;   xB = min(boxA\[2], boxB\[2])

&#x20;   yB = min(boxA\[3], boxB\[3])

&#x20;  &#x20;

&#x20;   \# Área de la intersección

&#x20;   intersection\_area = max(0, xB - xA) \* max(0, yB - yA)

&#x20;  &#x20;

&#x20;   \# Áreas de las cajas

&#x20;   boxA\_area = (boxA\[2] - boxA\[0]) \* (boxA\[3] - boxA\[1])

&#x20;   boxB\_area = (boxB\[2] - boxB\[0]) \* (boxB\[3] - boxB\[1])

&#x20;  &#x20;

&#x20;   \# Cálculo del IoU

&#x20;   iou = intersection\_area / float(boxA\_area + boxB\_area - intersection\_area)

&#x20;  &#x20;

&#x20;   return iou, (xA, yA, xB, yB)

\# Cajas de ejemplo \[x\_min, y\_min, x\_max, y\_max]

boxA = \[50, 50, 150, 150]  # Ground truth

boxB = \[80, 80, 180, 180]  # Predicción

iou, intersection\_box = bb\_intersection\_over\_union(boxA, boxB)

\# Visualización

fig, ax = plt.subplots(1, figsize=(8, 8))

ax.set\_title(f"IoU: {iou:.2f}")

ax.imshow(np.ones((200, 200, 3)))  # Imagen de fondo (por simplicidad, es un rectángulo blanco)

\# Dibujar la caja ground truth

rectA = patches.Rectangle((boxA\[0], boxA\[1]), boxA\[2] - boxA\[0], boxA\[3] - boxA\[1],

&#x20;                         linewidth=2, edgecolor='g', facecolor='none', label="Ground Truth")

ax.add\_patch(rectA)

\# Dibujar la caja de predicción

rectB = patches.Rectangle((boxB\[0], boxB\[1]), boxB\[2] - boxB\[0], boxB\[3] - boxB\[1],

&#x20;                         linewidth=2, edgecolor='b', facecolor='none', label="Prediction")

ax.add\_patch(rectB)

\# Dibujar la región de intersección

if intersection\_box\[2] > intersection\_box\[0] and intersection\_box\[3] > intersection\_box\[1]:

&#x20;   intersection\_rect = patches.Rectangle((intersection\_box\[0], intersection\_box\[1]),

&#x20;                                         intersection\_box\[2] - intersection\_box\[0],

&#x20;                                         intersection\_box\[3] - intersection\_box\[1],

&#x20;                                         linewidth=2, edgecolor='r', facecolor='red', alpha=0.3, label="Intersection")

&#x20;   ax.add\_patch(intersection\_rect)

plt.legend(loc='upper right')

plt.show()

Visualización de IoU en object detection

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate