No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Optimizadores en redes neuronales

10/22
Recursos

Aportes 9

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Muchas gracias, por fin entendí de qué se trataba ADAM y porqué veo que es tan usado 😃

Que bien haber llegado hasta aquí, gracias Freddy

El algoritmo adagrad es adecuado para NLP e image recognition, nos evita tener que configurar el learning rate ya que cada parametro tiene su propio LR y la desventaja es que el LR va disminuyendo progresivamente, esto hace que el modelo en algun punto deje de aprender

Muy buena explicación sobre los métodos de gradiente adaptable, hay muchos métodos de gradiente adaptable, algunos se pueden consultar aquí:

El algoritmo momentum lo que hace es ayudar al SGD, agrega una fraccion de la direccion del paso anterior en el nuevo paso que daremos con el vector gradiente y esto amplifica la velocidad en la direccion correcta, lo malo es que al momento de estar cerca de nuestro objectivo, es decir, de nuestro minimo global, el momentum puede ser muy alto y esto haria que nos pasemos del objetivo.

Wow porfin entendí porque siempre usaban ADAM, en los cursos y en todo lado casi Jajaja