Validación de modelo en un entorno de ejecución

Clase 21 de 33 • Curso Profesional de Computer Vision con TensorFlow

Contenido del curso

Comprender la visión computarizada

Dimensionamiento de proyecto de visión computarizada

Obtención y procesamiento de los datos

Entrena, testea y optimiza tus modelos

Producto con visión computarizada en producción

Siguientes pasos en inteligencia artificial

Tomar examen

Comentarios

Nicolas Erices Mendez

student•

se escucha mal esta clase cambien el audio

Daniel Díaz

student•

En el minuto 12:45 se vuelve a repetir algo dicho antes.

Jean Pierre Brik López Vargas

student•

Ante el error : module 'cv2' has no attribute 'gapi_wip_gst_GStreamerPipeline' Me funcionó instalar : !pip install opencv-python==4.5.5.64

Christian Ricardo Conchari Cabrera

student•

Interesante ver que se alcanzan precisiones bastante bajas para una imagen que podría considerarse un frame de entrada para nuestro modelo ya desplegado. Nótese incluso como el modelo llega a confundir un auto con una moto, y al parecer tiene una doble clasificación sobre el objeto.

Es necesario mejorar el modelo, vamos a la siguiente clase!

Daniel Díaz

student•

En el minuto 6:30 se repite algo dicho antes y adicional, la calidad del audio se desmejoró.

Carlos Saavedra

student•

cuando quiero iterar el modelo me aparce error con la viz_utils # Analizamos cuántas detecciones se obtuvieron num_detections = int(detections.pop('num_detections')) detections = {key: value[0,:num_detections].numpy() for key, value in detections.items()}

detections['num_detections'] = num_detections

detections['detection_classes'] = detections['detection_classes'].astype(np.int64)

Tomamos una imagen y la copiamos para dibujar los bounding box

image_np_with_detections = image_np.copy()

Utilizamos la libreria de obejct detection para visualizar le bounding box y la clasificación

viz_utils.visualize_boxes_and_labels_on_image_array( image_np_with_detections, detections['detection_boxes'], detections['detection_classes'], detections['detection_scores'], category_index, max_boxes_to_draw=200, min_score_thresh=0.30, use_normalized_coordinates = True )

Visualizamos resultados

cv2_imshow(image_np_with_detections)

AttributeError Traceback (most recent call last) <ipython-input-12-d365fce7da84> in <cell line: 13>() 11 12 # Utilizamos la libreria de obejct detection para visualizar le bounding box y la clasificación ---> 13 viz_utils.visualize_boxes_and_labels_on_image_array( 14 image_np_with_detections, 15 detections['detection_boxes'],

3 frames /content/models/research/object_detection/utils/visualization_utils.py in <listcomp>(.0) 217 # box exceeds the top of the image, stack the strings below the bounding box 218 # instead of above. --> 219 display_str_heights = [font.getbbox(ds)[3] for ds in display_str_list] 220 # Each display_str has a top and bottom margin of 0.05x. 221 total_display_str_height = (1 + 2 * 0.05) * sum(display_str_heights)

AttributeError: 'ImageFont' object has no attribute 'getbbox'

Adonai Vera

teacher•

Hola Carlos, Carlos te hago unas preguntas para poder ayudarte, lo primero es si estas ejecutando en tu computador personal o estas usando google Colab ?

Puedes revisar la versión de PIL y de la libreria de detección de objetos de TensorFlow, muchas veces esos errores son por incomtabilidades en las versiones.

Te recomiendo actualizar PIL que el nombre de la libreria es Pillow

!pip install --upgrade pillow

Quedo atento, saludos

FELIX DAVID CORDOVA GARCIA

student•

Si alguno tuvo problemas con la línea de código

from google.colab.patches import cv2_imshow

Teniendo el siguiente error :

Se soluciona instalando lo siguiente:

Omar R. Valencia G.

student•

¿Por qué aquí no adjuntaron en "recursos" los archivos de fine_tuned_model.zip" y "label_map.pbtxt" como hicieron en ocasiones anteriores? ¿Podrían añadirlos por favor?

Adonai Vera

teacher•

Hola Omar muchas gracias. En este caso no se agregaron porque son los mismos de la clase anterior. O también puedes tomar los de la siguiente clase que también te funcionarían. Saludos

Angel David Sasso Villa

student•

Como observo la precision del modelo?

Adonai Vera

teacher•

Hola Angel David, Si deseas conocer la precisión del modelo, las puedas obtener en la fase de entrenamiento con los datos training y test. Al ser un modelo de aprendizaje supervisado es necesario conocer la salida esperada para obtener métricas del mismo. Si deseas validarlo con datos nuevos es necesario que agregues la salida real y luego comparas la salida del modelo con la salida real. En este caso cuando lo montamos en producción al probarlo con un video en donde no conocemos la salida, no se podría validar las métricas.

Todas las métricas las encuentras en el TensorBoard

Me cuentas si queda más claro, saludos

Rafael Rivera

student•

Genial, aunque no da exactitud al 100 %

FELIX DAVID CORDOVA GARCIA

student•

Si alguien presenta el siguiente error:

Simplemente cambie su entorno de trabajo de GPU a None y problema resuelto:

Rafael Rivera

student•

Yo estaba haciendo el ejercicio en Kaggle y me paso exactamente lo mismo.

¿Por que si activamos la GPU este no corre y genera ese error ?

Pero dato curioso, dato perturbador en Colab si corrió bien con la GPU activada.

Alguien sabrá ? o será una de las grandes incógnitas del universo :) :) :)

Dylan Santiago Lasso Guayara

student•

Es emocionante cómo empieza a tomar forma todo lo que se ha abordado a lo largo del curso. Estoy a la expectativa :D

Juan José Londoño David

student•

Hay un error en el video en el minuto 6:30

Nicolas Buitrago

student•

Para mostrar la imagen utilizando un notebook local pueden usar las siguientes lineas de codigo

%matplotlib inline
plt.imshow(image_np_with_detections)
plt.show()

Mario Alexander Vargas Celis

student•

La validación de un modelo en un entorno de ejecución (también conocida como *deployment validation* o *model inference validation*) es una fase crítica en la puesta en producción de modelos de aprendizaje automático, incluyendo los modelos de *computer vision*. Esta fase asegura que el modelo funciona correctamente con datos reales y en las condiciones de un entorno de producción.

Aquí tienes una guía general para validar un modelo en un entorno de ejecución:

### 1. Preparación del Entorno de Ejecución

- **Definir el entorno**: Asegúrate de que el entorno de ejecución tenga las mismas bibliotecas y versiones utilizadas durante el entrenamiento. Esto es especialmente importante para bibliotecas como TensorFlow, PyTorch, OpenCV, etc.

- **Hardware adecuado**: Para modelos de *computer vision*, el hardware GPU suele mejorar el rendimiento. Asegúrate de que el entorno de producción tenga acceso a GPU si fue utilizada en el entrenamiento.

### 2. Pruebas de Entrada y Salida del Modelo

- **Verificar el preprocesamiento**: Asegúrate de que el preprocesamiento de las imágenes (o datos) de entrada en el entorno de producción sea idéntico al realizado durante el entrenamiento. Esto incluye redimensionamiento, normalización y cambio de canales de color.

- **Ejecutar pruebas con datos reales**: Pasa algunas muestras reales (o cercanas a las reales) a través del modelo para verificar que las predicciones sean consistentes con los resultados esperados.

- **Probar distintos casos de uso**: Intenta incluir datos variados (imágenes de diferentes calidades, ángulos o resoluciones) para evaluar cómo el modelo se comporta en distintos escenarios del entorno real.

### 3. Validación de Inferencia (Predicción)

- **Medir precisión en el entorno**: Evalúa las métricas de desempeño que usaste durante el entrenamiento (como precisión, *recall*, o *mAP* para detección de objetos) pero usando datos en el entorno de producción.

- **Tiempos de respuesta y latencia**: Mide el tiempo de inferencia de cada muestra. La latencia es un factor importante en entornos de producción, especialmente para aplicaciones en tiempo real.

- **Comparación de predicciones**: Si tienes predicciones previas (ground truth) para algunas imágenes de prueba, compáralas con las salidas del modelo para confirmar que no ha habido degradación en su rendimiento.

### 4. Implementación de Monitoreo en Producción

- **Monitoreo de métricas de desempeño**: Implementa herramientas de monitoreo que puedan medir las métricas del modelo de forma continua, para detectar si la precisión del modelo disminuye con el tiempo debido a cambios en los datos reales.

- **Alertas de desempeño**: Configura alertas en caso de que las métricas del modelo caigan por debajo de un umbral predefinido, lo que podría indicar que el modelo necesita ser recalibrado o reentrenado.

### 5. Evaluación y Ajustes Posteriores

- **Análisis de errores**: Revisa las muestras en las que el modelo falla más a menudo para entender sus limitaciones. Esto puede ayudar a determinar si el modelo requiere más entrenamiento o ajustes.

- **Actualización del modelo**: Si encuentras que el modelo falla consistentemente en ciertas áreas, considera hacer ajustes, ya sea en la arquitectura del modelo o en los datos de entrenamiento para mejorarlo.

Validar un modelo en el entorno de ejecución ayuda a asegurar que el modelo no solo funciona bien en condiciones controladas, sino que también se desempeña eficazmente en situaciones de la vida real.

Validación de modelo en un entorno de ejecución

Comprender la visión computarizada

¿Por qué aprender computer vision?

¿Qué es la visión computarizada?

Tipos de visión computarizada

Introducción a object detection: clasificación + localización

Aprende a identificar problemas

Dimensionamiento de proyecto de visión computarizada

Cómo definir los tiempos de tu proyecto

Cómo costear tu proyecto

Cómo identificar los roles necesarios en el proyecto

Producto mínimo viable en computer vision

Obtención y procesamiento de los datos

Obtención de datos para tu proyecto

Limpieza de la base de datos

Distribución de datos en entrenamiento y testeo

Etiquetado de los datos de test

Etiquetado de los datos de train

Transforma tu base de datos a TFRecord

Transformar CSV a TFRecord

Entrena, testea y optimiza tus modelos

Librerías a importar durante fase de entrenamiento

Fase de entrenamiento del modelo

Balanceo de imágenes y data augmentation

Entrena, evalua y optimiza con TensorBoard