Ajuste de redes neuronales: Hiper parámetros

Clase 18 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

Laura Camila Pinzón Casallas

student•

En cuanto a keras existen algo conocido como callbacks que son procesos que se aplican dentro del entrenamiento y mejoran estos hiperparametros, en el orden del video que conozca existen:

EarlyStopping Este detiene el entrenamiento al no ver mejora en una metrica como la perdidad, error, loss, val_loss, entre otras, cuenta con un parametro paciencia que permite ajustar a las epocas de no ver mejoria en el entrenamiento parara.
ModelCheckpoint Este callback guarda los pesos y estructura del modelo entrenado por cada epoca, tambien se puede configurar para que guarde solo si el modelo ha mejorado en la epoca actual.
ReduceLROnPlateau Tiene la funcion de monitorear una metrica de mejora configurada por el usuario y cuando no vea mejora reduce la taza de aprendizaje(Learning Rate) lo que le permite frenar el paso cada vez mas y encontrar el minimo local o global.
Tensorboard Es un dashboard con toda la informacion y metricas pertinentes configurada en uno o varios modelos, es un tablero superdinamico que permite comparar modelos y configuraciones.

Diego Alejandro Lesmes

student•

Tambien se pueden ver en tensorflow

Alberto Perdomo

student•

Como un complemento a esta clase voy a inidicar según gurus del deep learning como Ian Goodfellow y Andrew NG cual es la jerarquia de hiperparametros, en otras palabra por donde se debe empezar a optimizar:

Learning rate(tasa de aprendizaje)
Optimizador o momentum
Mini batch size
Neuronas en cada capa
Cantidad de layers

En lo referente a los epochs, no todo el mundo lo considera un hyperparametro debido a que si es muy bajo la red no aprende, si es muy alto se sobeajusta. Este aunque es un ajuste manual, depende de los cinco hyperparametros de arriba y siempre llega a un punto medio. Mientras que el ajuste de los otros depende netamente de la naturaleza del problema.

Rodrigo Urquizo Yepez

student•

-Batch size = Es una porcion de nuestro set de datos de entrenamiento el cual se propagara por toda la red en una iteracion, si por ejemplo tenemos 1000 datos de training podemos usar un batch de 32 datos, entonces primero se propagan 32, luego otros 32 y asi.Ojo iteracion no es lo mismo que epoch. -Epoch = Son las veces que todo nuestro set de datos pasan por nuestra red neuronal, por ejemplo una vez que nuestros 1000 datos pasaron o se propagaron por nuestra red eso se considera 1 epoch. -Kernel_initializer = Son los pesos iniciales que usaremos, en keras el default kernel_initializer es glorot_uniform, el cual se vio en una anterior clase -Optimizador = Es una forma de optimizar o acelerar el hallazgo de las derivadas parciales o gradientes en nuestra funcion de coste, el mas usado es Adam -Funcion de activacion: Se eligen dependiendo si es un problema de clasificacion (Sigmoid, ReLu,Tanh,Heaviside,etc) o de regresion(Linear regression,Ridge Regression,Lasso Regression,Isotonic Regression,etc) -Cantidad de capas y neuronas por capa:Se ajustan dependiendo de la complejidad de tu problema, pueden practicar eso un poco en el playground de TF, yo me di cuenta que no era necesarion poner tantas capas y tantas neuronas para que la red pueda hacer buenas clasificaciones.Aca el link: https://playground.tensorflow.org/#activation=relu&batchSize=14&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=50&networkShape=6,4,3,1&seed=0.17209&showTestData=false&discretize=true&percTrainData=50&x=true&y=true&xTimesY=true&xSquared=true&ySquared=true&cosX=false&sinX=true&cosY=false&sinY=true&collectStats=false&problem=classification&initZero=false&hideText=false

Hector F

student•

¿Para qué tipo de archivos se utiliza la extensión h5?

Gersonrpq

student•

🤓 Los archivos HDF5, es decir las extensiones .h5 te sirven para: La arquitectura de los modelos Los valores de pesos del modelo (que se aprendieron durante el entrenamiento) La configuración de entrenamiento del modelo (lo que pasó a ‘compilar’), si corresponde El optimizador y su estado, si corresponde (esto te permite reiniciar el entrenamiento donde lo dejó)

Puedes ver mas aqui: https://www.tensorflow.org/tutorials/keras/save_and_load#hdf5_format https://www.tensorflow.org/guide/keras/save_and_serialize#modelo-completo_guardando

¡Saludos!

Hector F

student•

¡Muchas gracias @gersonrpq!

María José Medina

student•

Este curso se pone cada vez mejor :D

Arturo Baduna

student•

Saben donde está la presentacion del profe?

Jaime Arturo Blanco Gutiérrez

student•

Si mal no recuerdo en la primera clase, en la seccion de archivos y enlaces.

Christian Quispe Bonilla

student•

Optimización de hiperparámetros

Paola Möhlinger

student•

No funciona el video !!!!

Matias Alexander Ibarra Trujillo

student•

cada vez q te pase cambia el servidor

Rfeb Fernando Ernesto Bogado

student•

no me carga a mi tampoco

Christian Quispe Bonilla

student•

Recomendación de neuronas por capa :)

Christian Quispe Bonilla

student•

Inicializadores y epocas
Cuando el Training Error y el Testing Error empiezan a diferenciarse, se debe parar iteraciones pues empieza el sobreajuste

SANTIAGO GOMEZ ZAPATA

student•

sigue sin funcionar el video..... problemas

Christian Quispe Bonilla

student•

Funciones de activación y funciones de pérdida

Arturo Munoz Cantor

student•

Optimización de los hiperparámetros

Ajuste de redes neuronales: Hiper parámetros

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso