No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Funci贸n para entrenamiento

16/24
Recursos

Aportes 1

Preguntas 0

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

驴Qu茅 es el clip_grad_norm

El clipping es una estrategia que se usa en entrenamiento para acortar par谩metros que vayan creciendo y, en caso de no ser detenidos, crear un problema denominado 鈥渆xploding gradients鈥 que no es m谩s que una red que nunca converger谩 porque sus par谩metros son demasiado grandes.

Tipos de clipping

Popularmente hay 2 tipos de clipping: por norm y por parameter, donde el primero calcula la norma L2 del par谩metro, y si esta supera un threshold ser谩 reducido mediante una peque帽a operaci贸n, el segundo caso es igual, donde no se realiza el c谩lculo de la media sino que se compara directamente el valor de cada par谩metro.

La importancia de cu谩ndo se llama

Es importante llamar este clipper en el momento que se han calculado los gradientes pero ANTES de actualizarlos con el optimizador, de esta manera aseguraremos que el modelo no sea propenso a sufrir de una explosi贸n de gradientes.

驴Esto mejora el performance?

Directamente, no. Lo que si hace es mejorar la estabilidad del modelo para que los par谩metros ser谩n homog茅neos, que al final se traducir谩 en mejor performance a la hora de entrenar el modelo.