Generando predicciones con modelo de object segmentation

Clase 29 de 31 • Curso de Detección y Segmentación de Objetos con TensorFlow

Contenido del curso

Introducción a Computer Vision

1
¿Qué es la visión computarizada y cuáles son sus tipos?
08:35 min

Detección de objetos

Segmentación de objetos

Un paso más allá

Tomar examen

Comentarios

Julen Alvaro

student•

Si probamos imágenes parecidas pero de otro entorno, se aprecia el sobreajuste del modelo:

Gabriel Ichcanziho Pérez Landa

student•

Te comparto mis apuntes personales de TODA esta sección:

Apuntes de Object Segmentation

Te recomiendo ampliamente que le heches un ojo puesto que segui el curso programando en local sin usar Colab. Esto me permitio tener un mucho mayor entendimiento del curso y especificamente adaptar el código de Colab a una estructura de archivos mucho más "práctica" para un ambiente profesional. Adicionalmente te comparto mis resultados finales:

Entrenamiento del modelo:

!resultados

TensorBoard

Resultados de imágenes:

!i1

!i2

Finalmente, en el código de GitHub puedes encontrar el modelo ya entrenado y listo para hacer inferencias nuevas, te comparto el código de ejemplo:

import os

os.environ["TF_CPP_MIN_LOG_LEVEL"] = '3'

from keras.models import load_model
from core.utils import predict_test_samples, plot_images, load_data


if __name__ == '__main__':

    test_sample = load_data(["test/0016E5_08159.png"], ["test/0016E5_08159_L.png"])
    model = load_model("core/models/best_model.h5")
    predicted_masks, test_images, ground_truth_masks = predict_test_samples(test_sample, model)
    plot_images(test_images[0], predicted_masks[0], ground_truth_masks[0])

Y el modelo en formato h5: best_model

Víctor Trigo

student•

¿Cómo calculamos el coeficiente Dice en este caso?

Sergio Paniego

teacher•

Hola!

Podemos calcular el coeficiente para cada una de las clases, sacando el número de píxeles de overlap para cada clase, multiplicándolo por 2 y dividiendo ese número entre el total de píxeles que tiene cada clase.

Te recomiendo echar un vistazo a la definición del coeficiente de Dice:

Santiago Ahumada Lozano

student•

Hola me gustaría saber cómo puedo tunear una red pre-entrenada mucho más especializada para esta tarea?

Sergio Paniego

teacher•

Hola!

El pipeline de trabajo debería de ser similar para diferentes tipos de red pre-entrenadas. Basándonos en el ejemplo para una red pre-entrenada, podemos adaptar el mismo procedimiento para otras redes pre-entrenadas.

Un saludo, Sergio

Mario Alexander Vargas Celis

student•

Para generar predicciones con un modelo de segmentación de objetos, como una red U-Net o Mask R-CNN, puedes seguir estos pasos generales en Python, usando un dataset de imágenes y el modelo previamente entrenado.

### 1. Cargar la Imagen

Primero, lee la imagen que deseas segmentar:


import cv2

import numpy as np



\# Cargar la imagen de prueba

img = cv2.imread('path/to/your/image.jpg')

\# Redimensionar la imagen si es necesario

img = cv2.resize(img, (IMG\_HEIGHT, IMG\_WIDTH))

### 2. Preprocesar la Imagen

Dependiendo del modelo, es posible que necesites normalizar la imagen o aplicar una transformación específica:


\# Normalizar la imagen

img\_normalized = img / 255.0  # Normaliza los valores al rango \[0, 1]

\# Expande las dimensiones para que coincidan con la entrada del modelo

img\_input = np.expand\_dims(img\_normalized, axis=0)

### 3. Generar la Predicción

Usa el modelo de segmentación para realizar la predicción en la imagen. En el caso de una red U-Net, el resultado suele ser una máscara binaria o multiclase que segmenta los objetos en la imagen.


\# Generar predicciones

predicted\_mask = model.predict(img\_input)

\# Saca la máscara predicha en un rango de \[0, 1]

predicted\_mask = (predicted\_mask\[0, :, :, 0] > 0.5).astype(np.uint8)  # Umbral de 0.5 para la segmentación binaria

### 4. Visualizar la Predicción

Para visualizar la máscara superpuesta en la imagen original, puedes usar matplotlib o cualquier otra biblioteca de visualización:


import matplotlib.pyplot as plt



\# Mostrar imagen original y máscara

fig, ax = plt.subplots(1, 2, figsize=(12, 6))

ax\[0].imshow(cv2.cvtColor(img, cv2.COLOR\_BGR2RGB))

ax\[0].set\_title('Imagen Original')



\# Colorear la máscara predicha

ax\[1].imshow(predicted\_mask, cmap='gray')

ax\[1].set\_title('Máscara Predicha')

plt.show()

### 5. Guardar o Analizar la Predicción

Guarda la máscara o realiza análisis adicionales según tus necesidades:


\# Guardar la máscara predicha como imagen

cv2.imwrite('predicted\_mask.png', predicted\_mask \* 255)  # Multiplica por 255 para obtener una imagen binaria

Este flujo te permite generar y visualizar predicciones con un modelo de segmentación de objetos. Si estás trabajando con segmentación multicategoría, puedes ajustar los pasos para cada categoría usando un mapa de colores o máscaras específicas por clase.

import os

os.environ["TF_CPP_MIN_LOG_LEVEL"] = '3'

from keras.models import load_model
from core.utils import predict_test_samples, plot_images, load_data


if __name__ == '__main__':

    test_sample = load_data(["test/0016E5_08159.png"], ["test/0016E5_08159_L.png"])
    model = load_model("core/models/best_model.h5")
    predicted_masks, test_images, ground_truth_masks = predict_test_samples(test_sample, model)
    plot_images(test_images[0], predicted_masks[0], ground_truth_masks[0])

import cv2

import numpy as np

\# Cargar la imagen de prueba

img = cv2.imread('path/to/your/image.jpg')

\# Redimensionar la imagen si es necesario

img = cv2.resize(img, (IMG\_HEIGHT, IMG\_WIDTH))

\# Normalizar la imagen

img\_normalized = img / 255.0  # Normaliza los valores al rango \[0, 1]

\# Expande las dimensiones para que coincidan con la entrada del modelo

img\_input = np.expand\_dims(img\_normalized, axis=0)

\# Generar predicciones

predicted\_mask = model.predict(img\_input)

\# Saca la máscara predicha en un rango de \[0, 1]

predicted\_mask = (predicted\_mask\[0, :, :, 0] > 0.5).astype(np.uint8)  # Umbral de 0.5 para la segmentación binaria

import matplotlib.pyplot as plt

\# Mostrar imagen original y máscara

fig, ax = plt.subplots(1, 2, figsize=(12, 6))

ax\[0].imshow(cv2.cvtColor(img, cv2.COLOR\_BGR2RGB))

ax\[0].set\_title('Imagen Original')

\# Colorear la máscara predicha

ax\[1].imshow(predicted\_mask, cmap='gray')

ax\[1].set\_title('Máscara Predicha')

plt.show()

Generando predicciones con modelo de object segmentation

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate