Tipos de Segmentación:
- Segmentación semántica
- Segmentación de instancias
- Segmentación panóptica
Arquitecturas:
- Fully Convolutional Network
- U-Net
- DeepLab Atrous
En la arquitectura U-Net el mapa de segmentación resultante es de tamaño 388x388, más pequeño que la imagen de entrada 572x572. ¿Esto limita el alcance del modelo? ¿Es decir, no segmenta objetos en las imágenes que se encuentren en los bordes?
¿cómo puedo implementar una segmentación de instancias y compararla con diferentes arquitecturas?, hay alguna API parecida a la de object detection de tensorflow para realizar esa tarea?
Los tipos principales de segmentación en visión por computadora incluyen **segmentación semántica**, **segmentación de instancias** y **segmentación panóptica**, cada una con arquitecturas específicas que abordan sus desafíos únicos:
---
### 1. **Segmentación Semántica**
- **Descripción**: Asigna una clase a cada píxel de una imagen, pero no distingue entre diferentes instancias de la misma clase. Por ejemplo, en una imagen con varias personas, todos los píxeles de personas se etiquetan como "persona" sin separar cada individuo.
- **Arquitecturas Principales**:
- **Fully Convolutional Networks (FCN)**: Rediseña redes convolucionales tradicionales reemplazando capas de clasificación con capas de convolución para lograr salidas de la misma resolución que la imagen de entrada.
- **U-Net**: Popular en el campo médico, esta arquitectura utiliza un encoder-decoder con conexiones de "skip" que ayudan a preservar los detalles espaciales.
- **DeepLab (V1, V2, V3, V3+)**: Introduce el uso de convoluciones con tasa de dilatación para capturar información a diferentes escalas y mejorar la segmentación en bordes precisos.
- **SegNet**: Utiliza un encoder-decoder con una técnica de "unpooling" (reutilización de índices de pooling) que mejora la precisión espacial sin aumentar mucho la complejidad del modelo.
---
### 2. **Segmentación de Instancias**
- **Descripción**: No solo clasifica cada píxel, sino que también diferencia entre múltiples instancias del mismo objeto. Por ejemplo, en una imagen con tres autos, cada auto se segmentará individualmente.
- **Arquitecturas Principales**:
- **Mask R-CNN**: Una extensión del Faster R-CNN, que añade una rama adicional para predecir una máscara binaria para cada instancia detectada, logrando así tanto detección como segmentación.
- **PANet (Path Aggregation Network)**: Mejora la segmentación de instancias al agregar características a múltiples escalas y ajustar la arquitectura de Mask R-CNN para mejorar la precisión.
- **YOLACT (You Only Look At Coefficients)**: Diseñado para velocidad, este modelo realiza segmentación de instancias en una etapa utilizando máscaras de "protótipos" y es más rápido que otras alternativas como Mask R-CNN.
---
### 3. **Segmentación Panóptica**
- **Descripción**: Combina segmentación semántica e instancias, produciendo una salida que incluye etiquetas para los objetos detectados (segmentación de instancias) y para el fondo (segmentación semántica).
- **Arquitecturas Principales**:
- **Panoptic FPN (Feature Pyramid Networks)**: Integra predicciones semánticas e instancias mediante una red de pirámides de características para manejar diferentes escalas de objetos en la misma imagen.
- **Panoptic DeepLab**: Una adaptación de DeepLab para segmentación panóptica, usando una combinación de redes para semántica y detección de instancias, lo que permite una mejor integración de ambas tareas.
- **UPSNet (Unified Panoptic Segmentation Network)**: Diseñado para unificar la segmentación de instancias y semántica en una sola arquitectura con una pérdida de optimización panóptica, proporcionando resultados de alta calidad en ambas tareas simultáneamente.
---
Cada uno de estos tipos de segmentación y sus arquitecturas específicas son aplicables en diversas áreas, como la conducción autónoma, donde es esencial identificar tanto los objetos en el camino como el contexto general, o en la medicina, donde la segmentación detallada y precisa ayuda en el diagnóstico.