Re-entrenamiento del modelo para obtener mejores resultados

Clase 22 de 33 • Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Comentarios

Alexander Wladimir Saquinga Saquinga

student•

Reto aplicado a mi proyecto.

FELIX DAVID CORDOVA GARCIA

student•

El mio no lo hizo tan mal

Juan José Londoño David

student•

Reto Cumplido

Raul Perez-Alejo Neyra

student•

aqui va el mio....muy bien hasta ahora ![](

Federico Montero

student•

Me funciono mal, siento que detecta bien, solo que la imagen se giro sola, que opinan?

Dylan Santiago Lasso Guayara

student•

Reto aplicado con el modelo 2.0, aplicado a nuevas imágenes:

El nuevo modelo no reconoce muy bien las motos, porque realmente en el nuevo dataset, las imágenes tenían muy pocas motos, por lo tanto, el número de muestras fue mucho menor.

Jorge Ulises Useche Cuellar

student•

buenas noches , disculpa es que quisiera saber si es solo hacer el cambio en la base de datos para tenerla más acorde con nuestras necesidades dejando el código igual ó si hay un cambio sustancial en el código ,cómo por ejemplo quitarle la capa de inferencia, entrenar solo esta capa y después hacer un re-entrenando el modelo completo, (esto último nose cómo hacerlo con esta APi de tenserflow) pero me gustaria saber si se puede hacer y cómo hacerlo , muchas gracias por tu atención.

Adonai Vera

teacher•

Hola Jorge, En este caso lo que buscamos es que tengas una base de entrenamiento de cualquier problema, entonces si seria cambiar la base de datos (Al cambiar la base de datos debes tener en cuenta que la entrada, numero de clases, si se debe modificar acorde a tus datos) luego ejecutarias el codigo completo. Sin embargo cada proyecto tiene su reto, esto te permitira tener una modelo del sistema funcionando pero no significa que ya este resuelto,c la idea es que con los conocimientos adquiridos en el curso y a su vez el testeo puedas mejorar los resultados .

Me cuentas, saludos

Dylan Santiago Lasso Guayara

student•

Buen día. Una pregunta, cuando tenemos imágenes de este tipo:

¿Es conveniente etiquetar los objetos que están muy juntos (círculo amarillo)? Si lo es, ¿cómo podría la mejor manera?

Adonai Vera

teacher•

Hola Dylan Santiago, Excelente pregunta, lo ideal seria etiquetar todos los objetos que se encuentran en la imagen, el caso de objetos ocluidos (oclusión es cuando un objeto está parcialmente fuera de la vista en una imagen debido a que algo lo bloquea) lo mejor es etiquetar incluso los objetos ocluidos. Imaginate que tienes rayos x y puedes ver a través de los otros objetos es una buena práctica etiquetar el objeto ocluido como si fuera completamente visible, en lugar de dibujar un cuadro delimitador solo para la parte parcialmente visible del objeto.

Me cuentas como te va con esos casos,

Saludos,

Mario Alexander Vargas Celis

student•

El re-entrenamiento de un modelo para obtener mejores resultados es un proceso clave en la mejora de su rendimiento. A continuación te doy algunos enfoques comunes para mejorar el modelo mediante re-entrenamiento:

### 1. **Recolección de Datos Adicionales**

- **Expande el conjunto de datos**: Si el modelo no está alcanzando un buen rendimiento, es posible que no tenga suficiente diversidad en los datos de entrenamiento. Obtener más datos o incluir más ejemplos representativos de las clases puede mejorar el modelo.

- **Aumento de datos**: Si no puedes obtener más datos, puedes usar técnicas de aumento de datos, como la rotación o el cambio de escala en imágenes, o la sustitución de sinónimos en texto, para simular más datos.

### 2. **Preprocesamiento de Datos**

- **Limpieza de datos**: Eliminar o corregir datos incorrectos o faltantes puede mejorar significativamente los resultados.

- **Normalización/Estandarización**: Para muchos modelos, especialmente aquellos basados en redes neuronales, normalizar o estandarizar los datos puede hacer que el entrenamiento sea más estable y efectivo.

### 3. **Ajuste de Hiperparámetros**

- **Búsqueda de hiperparámetros**: Usar técnicas como la búsqueda en cuadrícula o la optimización bayesiana para encontrar los valores óptimos de hiperparámetros como la tasa de aprendizaje, el tamaño del batch, el número de capas, entre otros.

- **Reducción de la tasa de aprendizaje**: Si el modelo no mejora, a veces reducir la tasa de aprendizaje o usar un esquema de disminución de la tasa de aprendizaje puede ayudar a mejorar el rendimiento.

### 4. **Cambiar la Arquitectura del Modelo**

- **Rediseñar el modelo**: Cambiar la estructura del modelo, por ejemplo, añadiendo más capas o cambiando la función de activación, puede ser beneficioso para mejorar el rendimiento.

- **Preentrenamiento y transferencia de aprendizaje**: Si estás utilizando un modelo preentrenado, podrías intentar afinar aún más el modelo con tu conjunto de datos específico.

### 5. **Técnicas de Regularización**

- **Dropout y L2 Regularization**: Estos métodos ayudan a prevenir el sobreajuste y a mejorar la capacidad de generalización del modelo.

- **Early Stopping**: Detener el entrenamiento antes de que el modelo se sobreajuste a los datos de entrenamiento también es una técnica eficaz.

### 6. **Evaluación y Ajuste Continuo**

- **Evaluar con datos de validación**: Asegúrate de evaluar el modelo no solo en el conjunto de entrenamiento, sino también en un conjunto de validación para asegurarte de que el modelo está generalizando correctamente.

- **Métricas de evaluación**: Asegúrate de utilizar las métricas adecuadas para tu problema (precisión, recall, F1, AUC, etc.) y ajusta el modelo en función de estas métricas.

### 7. **Entrenamiento Continuo (Online Learning)**

Si los datos siguen llegando con el tiempo (por ejemplo, en un sistema en producción), puedes entrenar el modelo continuamente con nuevos datos, en lugar de hacer un reentrenamiento completo cada vez.

Cada uno de estos pasos puede llevar a una mejora incremental del modelo, pero el proceso de re-entrenamiento debe ser iterativo y ajustado según los resultados obtenidos en cada fase.

Miguel Rodríguez

student•

Aquí los resultados del entrenamiento con el nuevo dataset, aun se debe mejorar...

Dylan Santiago Lasso Guayara

student•

Un aporte referente a algo que me pasó en el script json-tfrecord... Los nombres de las imágenes en el nuevo dataset, contienen espacios y paréntesis, lo que hace que al generarse los JSON desde LinkedAI, los nombres cambien de la siguiente manera:

Donde hay espacios " ", convierte a signo + Donde hay un (, convierte a %28 Y finalmente, donde hay ), convierte a %29

Por lo tanto, cuando se convierte el el JSON a CSV, los nombres también quedan con este nuevo formato de nombre (ejemplo: donde originalmente el nombre es 3 (4).png, el nuevo nombre es 3+%284%29.png). Por lo cual, cuando se ejecuta el script que genera el TFRecord, probablemente arroja un error así:

Lo que yo hice para solucionarlo, fue tomar los dos archivos CSV ya generados (train y test) con este formato, y modificarlos de esta manera:

import csv

with open('/content/test_labels.csv') as csv_file:
  with open('test_labels_fixed.csv', 'w') as out_file:
    for row in csv.reader(csv_file, delimiter=','):
      row[1] = row[1].replace("+"," ")
      row[1] = row[1].replace("%28","(")
      row[1] = row[1].replace("%29",")")
      csv.writer(out_file).writerow(row)

Espero que esto pueda servir de algo a quién también se le presente este error. Saludos.

Miguel Rodríguez

student•

Tuve el mismo error, yo lo solucione de esta manera:

import urllib.parse as up

image = up.unquote(classification['image']).replace("+", " ")

Julen Alvaro

student•

Por el desbalanceo de clases, el modelo tal cual ha sido entrenado calcula coches casi con total probabilidad:

Para solucionarlo so suyo sería repetir el proceso añadiendo más imágenes de motos.

import csv

with open('/content/test_labels.csv') as csv_file:
  with open('test_labels_fixed.csv', 'w') as out_file:
    for row in csv.reader(csv_file, delimiter=','):
      row[1] = row[1].replace("+"," ")
      row[1] = row[1].replace("%28","(")
      row[1] = row[1].replace("%29",")")
      csv.writer(out_file).writerow(row)

Re-entrenamiento del modelo para obtener mejores resultados

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard

Validación de modelo en un entorno de ejecución