¿Cómo es un dataset de segmentación?

Detección de objetos

Mario Alexander Vargas Celis

Estudiante

Un dataset de segmentación está diseñado para entrenar modelos que clasifiquen cada píxel de una imagen, y se caracteriza por incluir, además de las imágenes originales, **máscaras de segmentación** que representan los diferentes objetos y categorías en la imagen. Las máscaras pueden variar en complejidad según el tipo de segmentación que se desea realizar (semántica, de instancias o panóptica). Aquí te detallo los componentes típicos:

---

### 1. **Imágenes Originales**

- **Descripción**: Estas son las imágenes de entrada en las que el modelo realizará la segmentación. Cada imagen se representa generalmente en formato RGB (aunque también pueden incluirse otras modalidades de imagen, como infrarroja o en escala de grises).

- **Formato**: Formatos de imagen estándar como .jpg o .png.

### 2. **Máscaras de Segmentación**

- **Descripción**: Cada imagen tiene una máscara asociada que representa visualmente los objetos y/o clases en la imagen. La máscara es una imagen de la misma resolución que la imagen original, pero sus píxeles tienen valores que indican las categorías.

- **Formato**:

- Generalmente, se utiliza .png o .tif para las máscaras, ya que estos formatos permiten mapas de píxeles en colores o valores específicos que representan diferentes clases.

#### Tipos de Máscaras Según el Tipo de Segmentación

- **Segmentación Semántica**:

- Cada píxel tiene un valor numérico que representa la clase a la que pertenece. Por ejemplo, "0" para el fondo, "1" para autos, "2" para peatones, etc.

- Todas las instancias de una misma clase tienen el mismo valor.

- **Segmentación de Instancias**:

- Cada instancia de un objeto tiene un identificador único. Por ejemplo, si hay tres autos, cada uno tendrá un valor diferente en la máscara.

- Se puede usar una máscara de color o una imagen con valores únicos para cada instancia.

- **Segmentación Panóptica**:

- Combina la segmentación semántica y de instancias, asignando un valor único para cada instancia individual y un valor para las clases en el fondo.

- Puede incluir dos máscaras separadas (una para semántica y otra para instancias) o una máscara integrada.

### 3. **Etiquetas de Clase**

- **Descripción**: Un archivo de etiquetas que mapea los valores en las máscaras a nombres de clases específicas.

- **Formato**: Comúnmente se utiliza un archivo JSON o TXT que contiene el índice y nombre de cada clase.

---

### Ejemplo de Estructura de un Dataset de Segmentación

Un dataset de segmentación podría tener la siguiente estructura:


dataset/

├── images/

│   ├── image1.jpg

│   ├── image2.jpg

│   └── ...

├── masks/

│   ├── mask1.png

│   ├── mask2.png

│   └── ...

└── labels/

&#x20;   └── classes.txt  # Índice y nombre de las clases

---

### Archivos de Anotación (Opcionales)

Para algunos datasets, especialmente aquellos utilizados en segmentación de instancias y panóptica, pueden existir archivos de anotación adicionales en formatos JSON, XML o CSV. Estos pueden incluir información detallada sobre cada instancia, como:

- **Coordenadas de Bounding Boxes**.

- **ID de cada instancia**.

- **Tipo de objeto (e.g., auto, peatón)**.

---

### Ejemplos de Datasets de Segmentación

- **COCO** (Common Objects in Context): Tiene anotaciones para segmentación de instancias y segmentación panóptica.

- **PASCAL VOC**: Contiene etiquetas de segmentación semántica.

- **Cityscapes**: Dataset de segmentación enfocado en escenas urbanas, con segmentación semántica y de instancias.

Estos elementos son esenciales para entrenar modelos de segmentación de alta precisión y ayudan a los algoritmos a aprender patrones detallados en las imágenes.

¿Cómo es un dataset de segmentación?

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate

Todos los cursos GRATIS