Fine-tuning en detección de objetos

Curso de Detección y Segmentación de Objetos con TensorFlow

Contenido del curso

Introducción a Computer Vision

1
¿Qué es la visión computarizada y cuáles son sus tipos?
08:35 min

Detección de objetos

Segmentación de objetos

Un paso más allá

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0015:10

Fine-tuning en detección de objetos

Curso de Detección y Segmentación de Objetos con TensorFlow

Clase 17 de 31

Clase 17 / 31

Mario Alexander Vargas Celis

Hace 2 años

El *fine-tuning* en detección de objetos es el proceso de ajustar un modelo preentrenado para adaptarlo a un nuevo conjunto de datos específico. En el caso de la API de TensorFlow para detección de objetos, esto implica entrenar un modelo ya preentrenado (como SSD o Faster R-CNN) en tu propio conjunto de datos, para que pueda aprender a detectar objetos específicos de tu dominio.

### Pasos para realizar el Fine-Tuning en Detección de Objetos:

1. **Preparar el entorno**:

Asegúrate de tener todas las dependencias necesarias instaladas:

```bash

pip install tf-slim tensorflow-object-detection-api

```

2. **Configurar el conjunto de datos**:

El primer paso es tener tu conjunto de datos preparado en el formato adecuado para TensorFlow. El formato típico es el formato de anotaciones *TFRecord*. Para hacerlo, tendrás que convertir tus anotaciones (generalmente en formato XML, CSV o JSON) a este formato.

- Usa la herramienta de la API de object\_detection para convertir tu conjunto de datos en el formato TFRecord.

- Ejemplo de conversión:

```python

from object_detection.dataset_tools import create_pascal_tf_record

create_pascal_tf_record.convert_dataset(...)

```

3. **Descargar el modelo preentrenado**:

Descarga un modelo preentrenado adecuado del [TensorFlow Model Zoo](https://github.com/tensorflow/models/blob/master/research/object\_detection/g3doc/tf2\_detection\_zoo.md).

Ejemplo para descargar un modelo SSD con MobileNet:

```python

MODEL_NAME = 'ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8'

PATH_TO_CKPT = 'ssd_mobilenet_v2_fpnlite_320x320_coco17_tpu-8/saved_model'

```

4. **Configurar el archivo de pipeline**:

El archivo pipeline.config contiene todos los hiperparámetros de entrenamiento, como el optimizador, el modelo, las rutas a los datos y más.

Puedes encontrar un archivo pipeline.config para el modelo preentrenado descargado. Luego, deberás ajustarlo para que se adapte a tu propio conjunto de datos.

Algunos cambios comunes que deberás realizar en el archivo pipeline.config:

- Cambiar la ruta de los datos de entrenamiento y evaluación (las rutas a tus archivos TFRecord).

- Establecer el número de clases en num\_classes.

- Configurar las rutas para los archivos de los archivos de mapa de etiquetas.

- Cambiar el optimizador (si es necesario).

Ejemplo de configuración en el archivo pipeline.config:

```plaintext

num_classes: 3 # Número de clases de tu conjunto de datos

fine_tune_checkpoint: "PATH_TO_CKPT/model.ckpt"

train_input_path: "train.tfrecord"

eval_input_path: "eval.tfrecord"

label_map_path: "PATH_TO_LABEL_MAP.pbtxt"

```

5. **Entrenamiento del modelo**:

Una vez configurado el archivo pipeline.config, puedes comenzar el entrenamiento.

Usa el siguiente comando para entrenar el modelo:

```bash

python3 models/research/object_detection/model_main_tf2.py \

--pipeline_config_path=PATH_TO_YOUR_PIPELINE_CONFIG \

--model_dir=PATH_TO_SAVE_MODEL \

--alsologtostderr

```

**Argumentos**:

- --pipeline\_config\_path: Ruta al archivo pipeline.config.

- --model\_dir: Directorio donde se guardarán los resultados del modelo (p. ej., pesos entrenados).

- --alsologtostderr: Para mostrar los logs en la consola.

Si prefieres usar Colab, puedes hacer todo el proceso dentro de una celda de código.

6. **Evaluación del modelo**:

Después de que el modelo haya entrenado por algunas iteraciones, puedes evaluar su desempeño en el conjunto de datos de evaluación. Para hacerlo, usa el siguiente comando:

```bash

python3 models/research/object_detection/model_main_tf2.py \

--pipeline_config_path=PATH_TO_YOUR_PIPELINE_CONFIG \

--model_dir=PATH_TO_SAVE_MODEL \

--checkpoint_dir=PATH_TO_SAVE_MODEL \

--eval_training_data=True \

--alsologtostderr

```

Esto evaluará el modelo en el conjunto de datos de evaluación y mostrará las métricas de precisión (mAP).

7. **Exportar el modelo entrenado**:

Una vez que el modelo haya sido entrenado y evaluado, puedes exportar el modelo entrenado para hacer predicciones en imágenes.

Usa el siguiente comando para exportar el modelo:

```bash

python3 models/research/object_detection/exporter_main_v2.py \

--pipeline_config_path=PATH_TO_YOUR_PIPELINE_CONFIG \

--trained_checkpoint_dir=PATH_TO_SAVE_MODEL \

--output_directory=PATH_TO_EXPORT_MODEL

```

Esto generará un modelo que se puede usar para hacer predicciones.

8. **Hacer predicciones con el modelo fine-tuneado**:

Después de exportar el modelo, puedes cargarlo y hacer predicciones de la siguiente manera:

```python

# Cargar el modelo exportado

detect_fn = tf.saved_model.load('PATH_TO_EXPORTED_MODEL')

# Realizar una predicción

image_np = np.array(...) # Cargar una imagen

input_tensor = tf.convert_to_tensor(image_np)

input_tensor = input_tensor[tf.newaxis,...]

output_dict = detect_fn(input_tensor)

# Procesar las detecciones

boxes = output_dict['detection_boxes']

classes = output_dict['detection_classes']

scores = output_dict['detection_scores']

```

### Resumen del flujo de Fine-Tuning:

1. **Preparar el conjunto de datos**: Convertir tus anotaciones a formato TFRecord.

2. **Configurar el archivo pipeline.config**: Ajustar las rutas y parámetros del entrenamiento.

3. **Entrenar el modelo**: Ejecutar el entrenamiento usando el comando adecuado.

4. **Evaluar el modelo**: Verificar el desempeño en el conjunto de datos de validación.

5. **Exportar el modelo**: Guardar el modelo entrenado para hacer predicciones.

6. **Realizar predicciones**: Usar el modelo fine-tuneado para detectar objetos en imágenes nuevas.

Recuerda que el fine-tuning puede requerir un número considerable de iteraciones y ajustes, especialmente si el modelo preentrenado es muy diferente del tipo de datos en tu conjunto de entrenamiento.

Introducción a Computer Vision

¿Qué es la visión computarizada y cuáles son sus tipos?

Detección de objetos

Introducción a object detection: sliding window y bounding box

Generando video de sliding window

Introducción a object detection: backbone, non-max suppression y métricas

Visualización de IoU en object detection

Tipos de arquitecturas en detección de objetos

Arquitecturas relevantes en object detection

Utilizando un dataset de object detection

Carga de dataset de object detection

Exploración del dataset de object detection

Visualización de bounding boxes en el dataset de object detection

Aumentado de datos con Albumentation

Implementando Albumentation en object detection

Visualizando imágenes con aumentado de datos

Utilizando un modelo de object detection pre-entrenado

Probar detección de objetos con modelo pre-entrenado

Fine-tuning en detección de objetos

Fine-tuning en detección de objetos: carga de datos

Fine-tuning en detección de objetos: data augmentation

Fine-tuning en detección de objetos: entrenamiento

Fine-tuning en detección de objetos: visualización de objetos

Segmentación de objetos

Introduciendo la segmentación de objetos

Tipos de segmentación y sus arquitecturas relevantes

¿Cómo es un dataset de segmentación?

Utilizando un dataset de segmentación de objetos

Visualización de nuestro dataset de segmentación

Creando red neuronal U-Net para segmentación

Entrenando y estudiando una red de segmentación

Generando predicciones con modelo de object segmentation

Un paso más allá

El estado de la cuestión en computer vision

Comparte tu proyecto de detección y segmentación de objetos para conducción autónoma y certifícate

Fine-tuning en detección de objetos