Criterios para almacenar los modelos

Curso Profesional de Redes Neuronales con TensorFlow

Contenido del curso

Cómo utilizar TensorFlow 2.0 con Python

Manejo y preprocesamiento de datos para redes neuronales

Optimización de precisión de modelos

Almacenamiento y carga de modelos

Fundamentos de aprendizaje por transferencia

Resultados de entrenamiento

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:009:40

Criterios para almacenar los modelos

Curso Profesional de Redes Neuronales con TensorFlow

Clase 19 de 28

Clase 19 / 28

Recursos

En la práctica la carga de modelos no sucede de manera atómica (no se carga solo los pesos o solo la arquitectura), lo hacemos todo a la vez, tampoco almacenamos todos los modelos, únicamente guardamos en disco los mejores desempeños. Vamos al código para entender cómo lograrlo.

Mejorando el guardado de pesos

Definiremos un path para guardar nuestro nuevo modelo. En el ModelCheckpoint haremos una serie de modificaciones que cambiarán el cómo se guardará el modelo. El primero de ellos será la opción de save_weight_only, esta irá a falso, también agregaremos val_accuracy como monitor de desempeño y solo guardaremos la mejor versión del modelo.

checkpoint_path = "model_checkpoints_complete"

checkpoint_weight = ModelCheckpoint(
    filepath = checkpoint_path,
    frecuency = "epoch",
    save_weight_only = False,
    monitor = "val_accuracy",
    save_best_only = True,
    verbose = 1
)

Crearemos un modelo nuevo para comprender cómo se guardan los datos.

model_complete = get_model()
model_complete.compile(optimizer = "adam", loss = "categorical_crossentropy", metrics = ["accuracy"])

history_complete = model_complete.fit(
    train_generator,
    epochs = 20,
    callbacks = [checkpoint_weight],
    validation_data = validation_generator
)

Si durante el entrenamiento la red mejora en su val_accuracy, entonces se guardará en disco, si por el contrario no detecta una mejora, entonces ignorará esa iteración.

Epoch 1: val_accuracy improved from -inf to 0.77614, saving model to model_checkpoints_complete
Epoch 8: val_accuracy did not improve from 0.86175

Al final obtendremos de output un directorio con varios archivos, asegúrate de guardarlos todos de manera local, dado que si falta alguno la carga del modelo fallará.

Si deseas guardar la configuración entera manualmente, puedes hacer uso del método save de los modelos.

model_complete.save("saved_model_complete/mymodel")

Cargando modelos completos

Para cargar un modelo completo desde disco sin necesidad de crear una arquitectura vacía podemos usar la función load_model del módulo models de Keras indicando la ubicación del directorio.

model_complete3 = tf.keras.models.load_model("saved_model_complete/mymodel")

Si comparamos el rendimiento de test entre ambos modelos encontraremos que son exactamente el mismo, reflejando que la carga ha funcionado.

model_complete3.evaluate(test_generator)
57/57 [==============================] - 2s 41ms/step - loss: 0.6733 - accuracy: 0.8826
[0.6733485460281372, 0.8825989961624146]

model_complete.evaluate(test_generator)
57/57 [==============================] - 2s 41ms/step - loss: 0.6733 - accuracy: 0.8826
[0.673348605632782, 0.8825989961624146]

Carga y descarga desde archivos h5

Podemos guardar configuraciones enteras desde un archivo h5 que sintetizará toda la estructura de directorios vista anteriormente, para poder usarla debemos instalar pyyaml y h5py.

!pip install pyyaml h5py

Para guardar archivos como h5 bastará con modificar la extensión al final de la dirección a guardar. Para cargarlo bastará con indicar el archivo con extensión.

model_complete3.save("my_model.h5")
model_complete4 = tf.keras.models.load_model("my_model.h5")

Con esto ya tienes un amplio abanico para guardar y cargar modelos, desde la sola arquitectura hasta un historial completo o seleccionado de generaciones de entrenamiento.

Contribución creada por Sebastián Franco Gómez.

Jhon Freddy Tavera Blandon

Hace 3 años

Criterios para almacenar los modelos de aprendizaje automático:

Al guardar modelos de aprendizaje automático, es importante considerar varios factores para garantizar su eficiencia, accesibilidad y utilidad a largo plazo.

1. Organización y nomenclatura

Estructura de carpetas: Implemente una estructura de carpetas clara y consistente para organizar sus modelos. Por ejemplo, puede crear carpetas por proyecto, tipo de modelo, fecha de entrenamiento o rendimiento.

Nombres de archivos descriptivos: Utilice nombres de archivos descriptivos que indiquen claramente el contenido del modelo, como la arquitectura, los hiperparámetros, el conjunto de datos utilizado y el rendimiento logrado.

2. Formato de archivo

Consideraciones de tamaño y compatibilidad: Elija un formato de archivo adecuado que equilibre el tamaño del archivo, la facilidad de acceso y la compatibilidad con el software o las bibliotecas que utilizará. Formatos populares incluyen HDF5, SavedModel, ONNX y Pickle.

Dependencias: Si su modelo utiliza objetos o funciones personalizadas, asegúrese de guardarlos junto con el modelo o de documentar claramente cómo acceder a ellos.

3. Metadatos e información adicional:

Documentación: Incluya documentación que describa el modelo, su propósito, los datos utilizados, el proceso de entrenamiento, los hiperparámetros y el rendimiento logrado.

Registro de hiperparámetros: Guarde un registro de los hiperparámetros utilizados para entrenar el modelo, lo que facilita la reproducción de los resultados y la comparación de diferentes modelos.

Métricas de rendimiento: Guarde las métricas de rendimiento relevantes, como la precisión, la exactitud o el error, para evaluar el modelo y compararlo con otros.

4. Almacenamiento y copia de seguridad:

Ubicación de almacenamiento: Elija una ubicación de almacenamiento segura y accesible para sus modelos, como un disco local, un repositorio en la nube o un sistema de almacenamiento compartido.

Copias de seguridad: Implemente una estrategia de copia de seguridad regular para proteger sus modelos contra pérdidas accidentales o fallas del sistema.

5. Consideraciones adicionales:

Accesibilidad: Asegúrese de que los modelos sean accesibles para las personas que los necesitan, ya sea dentro de su equipo o para uso público.

Compartibilidad: Si planea compartir sus modelos con otros, utilice formatos y herramientas compatibles para facilitar el acceso y la reutilización.

Evolución y mantenimiento: Establezca un plan para actualizar y mantener sus modelos a medida que surjan nuevos datos o requisitos.

Al seguir estos criterios, puede almacenar sus modelos de aprendizaje automático de manera efectiva, organizarlos para una fácil recuperación y garantizar su utilidad a largo plazo para usted y otros.

Cómo utilizar TensorFlow 2.0 con Python

Redes Neuronales y TensorFlow: Crea Modelos de IA desde Cero

Programación con TensorFlow 2 y Python: Fundamentos y Aplicaciones

Manejo y preprocesamiento de datos para redes neuronales

Carga y Procesamiento de Bases de Datos en Inteligencia Artificial

Carga de Bases de Datos JSON desde GCP en Google Colab

Codificación Base64 y Gestión de Imágenes en Google Colab

Preprocesamiento y limpieza de datos

Keras datasets

Datasets generators

Aprende a buscar bases de datos para deep learning

Cómo distribuir los datos

Crear la red neural, definir capas, compilar, entrenar, evaluar y predicciones

Optimización de precisión de modelos

Métodos de regularización: overfitting y underfitting

Recomendaciones prácticas para ajustar un modelo

Métricas para medir la eficiencia de un modelo: callback

Monitoreo del entrenamiento en tiempo real: early stopping y patience

KerasTuner: construyendo el modelo

KerasTuner: buscando la mejor configuración para tu modelo

Almacenamiento y carga de modelos

Almacenamiento y carga de modelos: pesos y arquitectura

Criterios para almacenar los modelos

Fundamentos de aprendizaje por transferencia

Introducción al aprendizaje por transferencia

Cuándo utilizar aprendizaje por transferencia

Carga de sistemas pre-entrenados en Keras

API funcional de Keras

Uso sistemas pre-entrenados de TensorFlow Hub

Resultados de entrenamiento

Introducción a variables relevantes del TensorBoard

Análisis y publicación de resultados del entrenamiento

Introducción al despliegue de modelos en producción

Siguientes pasos con deep learning

Criterios para almacenar los modelos