Utilizando un dataset de object detection

Curso de Detección y Segmentación de Objetos con TensorFlow

Contenido del curso

Introducción a Computer Vision

1
¿Qué es la visión computarizada y cuáles son sus tipos?
08:35 min

Detección de objetos

Segmentación de objetos

Un paso más allá

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:006:10

Utilizando un dataset de object detection

Curso de Detección y Segmentación de Objetos con TensorFlow

Clase 8 de 31

Clase 8 / 31

Mario Alexander Vargas Celis

Hace 2 años

Para trabajar con un dataset de detección de objetos, necesitas cargar, preprocesar y preparar el dataset en un formato adecuado para que tu modelo de detección pueda usarlo. Aquí te explico cómo hacerlo de manera general:

### 1. Selección y carga de un dataset

Algunos de los datasets de detección de objetos más populares incluyen COCO, Pascal VOC y Open Images. Para fines prácticos, supongamos que estás trabajando con el dataset COCO.

**COCO Dataset**: Es un dataset que contiene imágenes con anotaciones de objetos en formato JSON.

### 2. Preparación del entorno

Asegúrate de tener instaladas las bibliotecas necesarias:


pip install tensorflow opencv-python matplotlib pycocotools

### 3. Cargar el dataset en tu script de Python

Puedes utilizar pycocotools para trabajar con las anotaciones de COCO:


from pycocotools.coco import COCO

import matplotlib.pyplot as plt

import cv2

import numpy as np



\# Ruta al archivo de anotaciones y las imágenes

annotation\_path = 'ruta/a/annotations/instances\_train2017.json'

image\_dir = 'ruta/a/images/train2017/'



\# Cargar anotaciones de COCO

coco = COCO(annotation\_path)



\# Obtener una imagen por su ID y mostrarla

image\_id = 123456  # Ejemplo de ID de imagen

image\_info = coco.loadImgs(image\_id)\[0]

image\_path = f"{image\_dir}/{image\_info\['file\_name']}"



\# Leer y mostrar la imagen

image = cv2.imread(image\_path)

image = cv2.cvtColor(image, cv2.COLOR\_BGR2RGB)

plt.imshow(image)

plt.axis('off')

plt.show()



\# Obtener anotaciones para la imagen seleccionada

ann\_ids = coco.getAnnIds(imgIds=image\_id, iscrowd=False)

annotations = coco.loadAnns(ann\_ids)



\# Dibujar las cajas delimitadoras

for ann in annotations:

&#x20;   bbox = ann\['bbox']  # Formato \[x\_min, y\_min, width, height]

&#x20;   x, y, width, height = bbox

&#x20;   plt.gca().add\_patch(plt.Rectangle((x, y), width, height, linewidth=2, edgecolor='r', facecolor='none'))



plt.imshow(image)

plt.show()

### 4. Preprocesamiento de datos

Es importante ajustar las imágenes y las cajas delimitadoras al tamaño de entrada requerido por tu modelo (por ejemplo, 300x300 para algunos modelos pre-entrenados).


def preprocess\_image(image, target\_size=(300, 300)):

&#x20;   image\_resized = cv2.resize(image, target\_size)

&#x20;   image\_normalized = image\_resized / 255.0  # Normalizar a \[0, 1]

&#x20;   return image\_normalized

### 5. Entrenamiento del modelo

Utiliza modelos pre-entrenados como SSD, Faster R-CNN o YOLO y adapta la última capa a tu dataset. Puedes usar bibliotecas como TensorFlow Object Detection API o Detectron2.

### 6. Métricas de evaluación

Evalúa tu modelo con métricas como **mAP (mean Average Precision)** para medir la precisión de la detección de objetos.

### Consideraciones adicionales

- **Aumentación de datos**: Aplica técnicas de aumentación como rotación, cambio de brillo, recortes y espejado para mejorar la capacidad de generalización de tu modelo.

- **Non-Max Suppression (NMS)**: Implementa NMS para eliminar cajas delimitadoras redundantes y quedarte con la detección más relevante.

Esta es una introducción a cómo trabajar con datasets de detección de objetos en Python. Si necesitas ejemplos más específicos o trabajar con otros datasets como Pascal VOC.

Mario Alexander Vargas Celis

Hace 2 años

Datasets Generales:

COCO (Common Objects in Context):
- Descripción: Es uno de los datasets más populares y ampliamente utilizados para la detección de objetos, segmentación y etiquetado de imágenes.
- Contenido: Más de 330,000 imágenes con más de 2 millones de instancias de objetos y más de 80 categorías.
- Aplicaciones: Detección de objetos, segmentación de instancias, keypoints (puntos clave para reconocimiento de poses).
- Formato de anotación: JSON (con detalles de bounding boxes y segmentaciones).
PASCAL VOC (Visual Object Classes):
- Descripción: Dataset clásico que ha sido fundamental en el desarrollo de modelos de detección de objetos.
- Contenido: Imágenes de 20 clases de objetos, con anotaciones de bounding boxes y segmentación.
- Aplicaciones: Ideal para entrenar y evaluar modelos de detección y clasificación.
- Formato de anotación: XML.
ImageNet:
- Descripción: Dataset masivo utilizado inicialmente para la clasificación de imágenes, pero extendido para la detección de objetos en ImageNet Object Detection Challenge.
- Contenido: Millones de imágenes clasificadas en miles de categorías, y una parte de ellas etiquetada con cajas delimitadoras.
- Aplicaciones: Clasificación de imágenes y detección de objetos.
- Formato de anotación: XML (similar a PASCAL VOC).

Datasets Especializados:

KITTI:
- Descripción: Dataset especializado en visión por computadora para vehículos autónomos.
- Contenido: Incluye imágenes y anotaciones capturadas desde vehículos con sensores como cámaras y LIDAR. Categorías de objetos incluyen autos, peatones, ciclistas, etc.
- Aplicaciones: Detección de objetos, segmentación de escenas urbanas, SLAM (localización y mapeo simultáneo).
- Formato de anotación: Texto plano con datos de bounding boxes y coordenadas 3D.
nuScenes:
- Descripción: Dataset avanzado para vehículos autónomos, con anotaciones más detalladas que KITTI.
- Contenido: Contiene imágenes, datos de sensores múltiples (cámaras, LIDAR, radar), y anotaciones en 3D.
- Aplicaciones: Percepción en vehículos autónomos, detección y seguimiento de objetos en 3D.
- Formato de anotación: JSON.
VisDrone:
- Descripción: Dataset orientado a imágenes y videos capturados por drones.
- Contenido: Imágenes y videos de escenas al aire libre con diversas condiciones de iluminación y ángulos.
- Aplicaciones: Detección de personas, autos y otros objetos en imágenes aéreas.
- Formato de anotación: Texto plano, con detalles de bounding boxes y tipos de objetos.

Diferencias y Usos:

Generales: Estos datasets se utilizan para entrenar modelos que pueden generalizar en una amplia variedad de escenarios y objetos.
Especializados: Diseñados para aplicaciones concretas, como la visión en vehículos autónomos o imágenes aéreas, lo que permite un entrenamiento más preciso en esos contextos.

Elección del Dataset:

La elección del dataset depende del problema específico que quieras resolver. Por ejemplo:

COCO y PASCAL VOC son ideales para comenzar en la detección de objetos.
KITTI y nuScenes son excelentes para proyectos de vehículos autónomos.
VisDrone es útil si trabajas con imágenes capturadas desde drones.

Cada uno de estos datasets tiene su propia estructura de anotación, lo que implica adaptar tu código de preprocesamiento a su formato específico.

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate

Utilizando un dataset de object detection