Hubo dos conceptos de regularización que no se mencionaron. El primero es BatchNorm, el segundo es Data Augmentation.
-
BatchNorm: Este se considera una inovación clave en el deep learning moderno (2016). Similar a la normalización de los inputs, pero en capas intermedias. Consiste en tomar un batch de datos calcular su media y varianza, actualizar los datos restandolos por su media y dividiendo por su varianza a esto sumarle la constante epsilon, para luego aplicarle una transformación. Más información en este link:
https://towardsdatascience.com/batch-normalization-and-dropout-in-neural-networks-explained-with-pytorch-47d7a8459bcd -
Data Augmentation: Esta técnica es simple pero elgante y se aplica bastante en imagenes, consiste en rotar la imagen o hacerle un zoom e incluir esta matriz en el algoritmo, ya sea el de una red generativa o convolucional. Es la misma imagen pero su matriz de datos no es la misma.
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?