Tipos de segmentación y sus arquitecturas relevantes

Detección de objetos

Mario Alexander Vargas Celis

Estudiante

Los tipos principales de segmentación en visión por computadora incluyen **segmentación semántica**, **segmentación de instancias** y **segmentación panóptica**, cada una con arquitecturas específicas que abordan sus desafíos únicos:

---

### 1. **Segmentación Semántica**

- **Descripción**: Asigna una clase a cada píxel de una imagen, pero no distingue entre diferentes instancias de la misma clase. Por ejemplo, en una imagen con varias personas, todos los píxeles de personas se etiquetan como "persona" sin separar cada individuo.

- **Arquitecturas Principales**:

- **Fully Convolutional Networks (FCN)**: Rediseña redes convolucionales tradicionales reemplazando capas de clasificación con capas de convolución para lograr salidas de la misma resolución que la imagen de entrada.

- **U-Net**: Popular en el campo médico, esta arquitectura utiliza un encoder-decoder con conexiones de "skip" que ayudan a preservar los detalles espaciales.

- **DeepLab (V1, V2, V3, V3+)**: Introduce el uso de convoluciones con tasa de dilatación para capturar información a diferentes escalas y mejorar la segmentación en bordes precisos.

- **SegNet**: Utiliza un encoder-decoder con una técnica de "unpooling" (reutilización de índices de pooling) que mejora la precisión espacial sin aumentar mucho la complejidad del modelo.

---

### 2. **Segmentación de Instancias**

- **Descripción**: No solo clasifica cada píxel, sino que también diferencia entre múltiples instancias del mismo objeto. Por ejemplo, en una imagen con tres autos, cada auto se segmentará individualmente.

- **Arquitecturas Principales**:

- **Mask R-CNN**: Una extensión del Faster R-CNN, que añade una rama adicional para predecir una máscara binaria para cada instancia detectada, logrando así tanto detección como segmentación.

- **PANet (Path Aggregation Network)**: Mejora la segmentación de instancias al agregar características a múltiples escalas y ajustar la arquitectura de Mask R-CNN para mejorar la precisión.

- **YOLACT (You Only Look At Coefficients)**: Diseñado para velocidad, este modelo realiza segmentación de instancias en una etapa utilizando máscaras de "protótipos" y es más rápido que otras alternativas como Mask R-CNN.

---

### 3. **Segmentación Panóptica**

- **Descripción**: Combina segmentación semántica e instancias, produciendo una salida que incluye etiquetas para los objetos detectados (segmentación de instancias) y para el fondo (segmentación semántica).

- **Arquitecturas Principales**:

- **Panoptic FPN (Feature Pyramid Networks)**: Integra predicciones semánticas e instancias mediante una red de pirámides de características para manejar diferentes escalas de objetos en la misma imagen.

- **Panoptic DeepLab**: Una adaptación de DeepLab para segmentación panóptica, usando una combinación de redes para semántica y detección de instancias, lo que permite una mejor integración de ambas tareas.

- **UPSNet (Unified Panoptic Segmentation Network)**: Diseñado para unificar la segmentación de instancias y semántica en una sola arquitectura con una pérdida de optimización panóptica, proporcionando resultados de alta calidad en ambas tareas simultáneamente.

---

Cada uno de estos tipos de segmentación y sus arquitecturas específicas son aplicables en diversas áreas, como la conducción autónoma, donde es esencial identificar tanto los objetos en el camino como el contexto general, o en la medicina, donde la segmentación detallada y precisa ayuda en el diagnóstico.

Tipos de segmentación y sus arquitecturas relevantes

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate