Tipos de segmentación y sus arquitecturas relevantes

Clase 23 de 31 • Curso de Detección y Segmentación de Objetos con TensorFlow

Clase anteriorSiguiente clase

Miguel Sánchez Guerrero

student•

Tipos de Segmentación:

Segmentación semántica
Segmentación de instancias
Segmentación panóptica

Arquitecturas:

Fully Convolutional Network
U-Net
DeepLab Atrous

Víctor Trigo

student•

En la arquitectura U-Net el mapa de segmentación resultante es de tamaño 388x388, más pequeño que la imagen de entrada 572x572. ¿Esto limita el alcance del modelo? ¿Es decir, no segmenta objetos en las imágenes que se encuentren en los bordes?

Sergio Paniego

teacher•

Hola, Víctor:

Muy buena pregunta! El modelo sí cubre todo el ancho y alto de la imagen, segmentando también aquellas zonas cercanas a los bordes. La diferencia entre el tamaño de entrada y de salida se debe a las convoluciones y el relleno de las mismas a lo largo de la arquitectura de red. Así que nos devuelve un mascara de segmentación para toda la imagen pero de un tamaño un poco más pequeño. Puedes leer el paper original (U-Net: Convolutional Networks for Biomedical Image Segmentation) para tener más detalles al respecto!

Un saludo.

ernesto sanchez

student•

¿cómo puedo implementar una segmentación de instancias y compararla con diferentes arquitecturas?, hay alguna API parecida a la de object detection de tensorflow para realizar esa tarea?

Sergio Paniego

teacher•

Hola, Ernesto!

Algunos de los modelos más modenos son capaces de hacer varios tipos de tareas (object detection, semantic segmentation, instance segmentation...), así que revisando el estado del arte puedes encontrar algunas herramientas útiles. Algunos ejemplos:

Segment Anything: https://github.com/facebookresearch/segment-anything
Detectron 2: https://github.com/facebookresearch/detectron2
YOLOv8: https://docs.ultralytics.com/tasks/segment/

Espero que te sirvan! Sergio

Mario Alexander Vargas Celis

student•

Los tipos principales de segmentación en visión por computadora incluyen **segmentación semántica**, **segmentación de instancias** y **segmentación panóptica**, cada una con arquitecturas específicas que abordan sus desafíos únicos:

---

### 1. **Segmentación Semántica**

- **Descripción**: Asigna una clase a cada píxel de una imagen, pero no distingue entre diferentes instancias de la misma clase. Por ejemplo, en una imagen con varias personas, todos los píxeles de personas se etiquetan como "persona" sin separar cada individuo.

- **Arquitecturas Principales**:

- **Fully Convolutional Networks (FCN)**: Rediseña redes convolucionales tradicionales reemplazando capas de clasificación con capas de convolución para lograr salidas de la misma resolución que la imagen de entrada.

- **U-Net**: Popular en el campo médico, esta arquitectura utiliza un encoder-decoder con conexiones de "skip" que ayudan a preservar los detalles espaciales.

- **DeepLab (V1, V2, V3, V3+)**: Introduce el uso de convoluciones con tasa de dilatación para capturar información a diferentes escalas y mejorar la segmentación en bordes precisos.

- **SegNet**: Utiliza un encoder-decoder con una técnica de "unpooling" (reutilización de índices de pooling) que mejora la precisión espacial sin aumentar mucho la complejidad del modelo.

---

### 2. **Segmentación de Instancias**

- **Descripción**: No solo clasifica cada píxel, sino que también diferencia entre múltiples instancias del mismo objeto. Por ejemplo, en una imagen con tres autos, cada auto se segmentará individualmente.

- **Arquitecturas Principales**:

- **Mask R-CNN**: Una extensión del Faster R-CNN, que añade una rama adicional para predecir una máscara binaria para cada instancia detectada, logrando así tanto detección como segmentación.

- **PANet (Path Aggregation Network)**: Mejora la segmentación de instancias al agregar características a múltiples escalas y ajustar la arquitectura de Mask R-CNN para mejorar la precisión.

- **YOLACT (You Only Look At Coefficients)**: Diseñado para velocidad, este modelo realiza segmentación de instancias en una etapa utilizando máscaras de "protótipos" y es más rápido que otras alternativas como Mask R-CNN.

---

### 3. **Segmentación Panóptica**

- **Descripción**: Combina segmentación semántica e instancias, produciendo una salida que incluye etiquetas para los objetos detectados (segmentación de instancias) y para el fondo (segmentación semántica).

- **Arquitecturas Principales**:

- **Panoptic FPN (Feature Pyramid Networks)**: Integra predicciones semánticas e instancias mediante una red de pirámides de características para manejar diferentes escalas de objetos en la misma imagen.

- **Panoptic DeepLab**: Una adaptación de DeepLab para segmentación panóptica, usando una combinación de redes para semántica y detección de instancias, lo que permite una mejor integración de ambas tareas.

- **UPSNet (Unified Panoptic Segmentation Network)**: Diseñado para unificar la segmentación de instancias y semántica en una sola arquitectura con una pérdida de optimización panóptica, proporcionando resultados de alta calidad en ambas tareas simultáneamente.

---

Cada uno de estos tipos de segmentación y sus arquitecturas específicas son aplicables en diversas áreas, como la conducción autónoma, donde es esencial identificar tanto los objetos en el camino como el contexto general, o en la medicina, donde la segmentación detallada y precisa ayuda en el diagnóstico.

Tipos de segmentación y sus arquitecturas relevantes

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate