Entrenando y estudiando una red de segmentación

Clase 28 de 31 • Curso de Detección y Segmentación de Objetos con TensorFlow

Clase anteriorSiguiente clase

Eduard Giraldo Martínez

student•

Encontré esta librería. Se llama VisualKeras. Les dejo el código para que lo puedan replicar:

!pip install visualkeras

import visualkeras

visualkeras.layered_view(model, legend=True, spacing=30, draw_funnel=False)

Grisel Quispe

student•

Hola, tengo un error cuando compilo y no encuentro una solución en Stack Overflow: ValueError: Exception encountered when calling layer 'model' (type Functional). ¿Alguien tiene el mismo problema?

Sergio Paniego

teacher•

Hola!

Es posible que se haya algún error tipográfico en la función create_unet. Te recomendaría revisar esa función en profundidad para encontrar el error.

Ánimo

Mario Alexander Vargas Celis

student•

Entrenar y evaluar una red de segmentación implica varios pasos, desde la configuración del dataset y la arquitectura de la red, hasta el proceso de entrenamiento y el análisis de los resultados. Vamos a cubrir los aspectos principales de este proceso.

### 1. Preparación del Dataset

Para segmentación, el dataset debe incluir:

- **Imágenes**: Las imágenes que contienen los objetos de interés.

- **Máscaras**: Imágenes binarizadas (o multiclase) en las que los píxeles están etiquetados según las regiones correspondientes a cada clase. Cada clase tiene su propio valor en la máscara.

### 2. División de Datos

Dividimos los datos en conjuntos de entrenamiento, validación y prueba. Esto permite evaluar el modelo en datos nuevos durante y después del entrenamiento:


from sklearn.model\_selection import train\_test\_split



images = \[...]  # Lista de imágenes

masks = \[...]   # Lista de máscaras correspondientes



\# División de datos en entrenamiento y validación

train\_images, val\_images, train\_masks, val\_masks = train\_test\_split(images, masks, test\_size=0.2, random\_state=42)

### 3. Creación del Modelo U-Net

Aquí usamos el modelo U-Net que definimos anteriormente para tareas de segmentación. Puedes ajustar la arquitectura si es necesario:


model = unet\_model(input\_size=(128, 128, 3), num\_classes=1)

model.compile(optimizer='adam', loss='binary\_crossentropy', metrics=\['accuracy'])

### 4. Data Augmentation (Aumento de Datos)

El aumento de datos es esencial para mejorar la robustez de un modelo de segmentación. Podemos usar Albumentations o tf.image para transformar imágenes y sus máscaras de manera sincronizada.

Ejemplo con Albumentations:


import albumentations as A

from albumentations.core.composition import Compose

from albumentations.pytorch import ToTensorV2



\# Definir transformaciones

transform = Compose(\[

&#x20;   A.HorizontalFlip(p=0.5),

&#x20;   A.VerticalFlip(p=0.5),

&#x20;   A.RandomRotate90(p=0.5),

&#x20;   A.RandomBrightnessContrast(p=0.2),

&#x20;   ToTensorV2()

])



\# Aplicar las transformaciones al par (imagen, máscara)

def augment(image, mask):

&#x20;   augmented = transform(image=image, mask=mask)

&#x20;   return augmented\['image'], augmented\['mask']

### 5. Entrenamiento del Modelo

Configuramos el entrenamiento con el conjunto de entrenamiento y validación, y ajustamos el número de épocas y tamaño de batch:


batch\_size = 16

epochs = 50



history = model.fit(

&#x20;   train\_images, train\_masks,

&#x20;   validation\_data=(val\_images, val\_masks),

&#x20;   batch\_size=batch\_size,

&#x20;   epochs=epochs,

&#x20;   verbose=1

)

### 6. Evaluación del Modelo

Tras el entrenamiento, evaluamos el modelo con el conjunto de prueba. Las métricas comunes en segmentación incluyen:

- **IoU (Intersection over Union)**: Calcula el solapamiento entre la predicción y la máscara real.

- **Dice Coefficient**: Similar al IoU, da una medida de precisión para la segmentación.

Calculamos el IoU y otras métricas con funciones personalizadas o bibliotecas como scikit-image:


from tensorflow.keras.metrics import MeanIoU



\# Evaluar IoU en datos de validación

iou = MeanIoU(num\_classes=2)

iou.update\_state(val\_masks, model.predict(val\_images))

print(f"IoU en conjunto de validación: {iou.result().numpy()}")

### 7. Visualización de Resultados

Visualizar los resultados ayuda a evaluar cómo el modelo realiza la segmentación. Aquí usamos Matplotlib para comparar imágenes originales, máscaras reales y predicciones:


import matplotlib.pyplot as plt



def visualize\_sample(image, mask, prediction):

&#x20;   plt.figure(figsize=(12, 4))

&#x20;   plt.subplot(1, 3, 1)

&#x20;   plt.title("Imagen original")

&#x20;   plt.imshow(image)

&#x20;   plt.subplot(1, 3, 2)

&#x20;   plt.title("Máscara real")

&#x20;   plt.imshow(mask, cmap="gray")

&#x20;   plt.subplot(1, 3, 3)

&#x20;   plt.title("Predicción")

&#x20;   plt.imshow(prediction, cmap="gray")

&#x20;   plt.show()



\# Visualizar un ejemplo

image, mask = val\_images\[0], val\_masks\[0]

prediction = model.predict(image\[None, ...])\[0]

visualize\_sample(image, mask, prediction)

### 8. Ajuste Fino y Mejoras

Para optimizar el rendimiento del modelo, consideramos técnicas como:

- **Ajuste de hiperparámetros**: Modificar la tasa de aprendizaje, número de épocas, optimizador, entre otros.

- **Regularización**: Añadir capas de Dropout en la red o aplicar técnicas como la regularización L2.

- **Aumento de datos avanzado**: Implementar transformaciones adicionales como cambios de escala o ruido.

### 9. Guardado y Carga del Modelo

Guardar el modelo entrenado permite reutilizarlo en el futuro:


\# Guardar el modelo

model.save('modelo\_segmentacion.h5')



\# Cargar el modelo

from tensorflow.keras.models import load\_model

modelo\_cargado = load\_model('modelo\_segmentacion.h5')

Este proceso completo permite crear, entrenar, evaluar y ajustar una red neuronal de segmentación para que sea precisa y robusta en el análisis de imágenes.

Jean Pierre Brik López Vargas

student•

Para el caso de segmentación, también aplica el método de cross-validation para encontrar el número de épocas con menor error de en el conjunto de validación?

Sergio Paniego

teacher•

La técnica de cross-validation es general para los modelos de machine learning, así que sí se puede aplicar a un problema de segmentación. Sería una reto muy interesante que podrías realizar para probar lo aprendido!

from sklearn.model\_selection import train\_test\_split

images = \[...]  # Lista de imágenes

masks = \[...]   # Lista de máscaras correspondientes

\# División de datos en entrenamiento y validación

train\_images, val\_images, train\_masks, val\_masks = train\_test\_split(images, masks, test\_size=0.2, random\_state=42)

import albumentations as A

from albumentations.core.composition import Compose

from albumentations.pytorch import ToTensorV2

\# Definir transformaciones

transform = Compose(\[

&#x20;   A.HorizontalFlip(p=0.5),

&#x20;   A.VerticalFlip(p=0.5),

&#x20;   A.RandomRotate90(p=0.5),

&#x20;   A.RandomBrightnessContrast(p=0.2),

&#x20;   ToTensorV2()

])

\# Aplicar las transformaciones al par (imagen, máscara)

def augment(image, mask):

&#x20;   augmented = transform(image=image, mask=mask)

&#x20;   return augmented\['image'], augmented\['mask']

batch\_size = 16

epochs = 50

history = model.fit(

&#x20;   train\_images, train\_masks,

&#x20;   validation\_data=(val\_images, val\_masks),

&#x20;   batch\_size=batch\_size,

&#x20;   epochs=epochs,

&#x20;   verbose=1

)

from tensorflow.keras.metrics import MeanIoU

\# Evaluar IoU en datos de validación

iou = MeanIoU(num\_classes=2)

iou.update\_state(val\_masks, model.predict(val\_images))

print(f"IoU en conjunto de validación: {iou.result().numpy()}")

import matplotlib.pyplot as plt

def visualize\_sample(image, mask, prediction):

&#x20;   plt.figure(figsize=(12, 4))

&#x20;   plt.subplot(1, 3, 1)

&#x20;   plt.title("Imagen original")

&#x20;   plt.imshow(image)

&#x20;   plt.subplot(1, 3, 2)

&#x20;   plt.title("Máscara real")

&#x20;   plt.imshow(mask, cmap="gray")

&#x20;   plt.subplot(1, 3, 3)

&#x20;   plt.title("Predicción")

&#x20;   plt.imshow(prediction, cmap="gray")

&#x20;   plt.show()

\# Visualizar un ejemplo

image, mask = val\_images\[0], val\_masks\[0]

prediction = model.predict(image\[None, ...])\[0]

visualize\_sample(image, mask, prediction)

Entrenando y estudiando una red de segmentación

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate