Para quien haya tenido la misma duda que yo sobre el learning rate.
¿Qué es el learning rate?
Es el porcentaje de cambio con el que se actualizan los pesos en cada iteración, en otras palabras, cada que se realiza una iteración en el proceso de entrenamiento se deben actualizar los pesos de la entrada para poder dar cada vez una mejor aproximación.
Este trabajo, de calcular el error de los pesos se puede hacer con el algoritmo SGD, y en cada iteración calcula un nuevo valor para los pesos. Sin embargo, el hecho de poner los valores tal cual los obtiene puede ser perjudicial, podría equivocarse o pasarse demasiado en una iteración, por lo que se define un porcentaje de este nuevo valor, el bellísimo learning rate.
Así que el learning rate nos dice que tanto actualizamos los pesos en cada iteración, en un rango de 0 a 1.
Ahora el hecho de poner un valor muy cercano a uno podría cometer errores y no obtendríamos un modelo de predicción adecuado, peeeero si ponemos un valor muy pequeño este entrenamiento podría ser demasiado tardado para acercarnos a una predicción aceptable.
Así que, ¿Cómo calculamos el learning rate adecuado?
Bueno, para obtener un learning rate adecuado no hay una forma análitica de obtenerlo, la mejor forma es a través de prueba y error. No obstante, los valores más usados son 0.1 y 0.01, así que podrías empezar por ahí.
Made with ❤️ by Bralex
Excelente! gracias!!