ReLU, Sigmoide y Tanh en redes convolucionales
Contenido del curso
Para reforzar el entendimiento de la clase, le añadí al código una umbralización marca con una línea punteada “Δmax” el punto donde cada función tiene su transición más fuerte:
Acá se puede apreciar mejor las diferencias en la aplicación entre una y otras funciones de activación.
Análisis de Resultados:
A continuación, el detalle de qué ocurre matemáticamente y visualmente cuando cruzamos cada tipo de dato con cada función.
El Gradiente Continuo
Naturaleza del dato: Un tensor 2D continuo con valores negativos y positivos (de -1.0 a 1.0). De las tres imagenes esta es la única que posee valores de píxeles negativos entre -1 y 0.
La Resonancia Médica (GBM)
Naturaleza del dato: Un tensor 3D (convertido a RGB) continuo, pero con valores exclusivamente positivos (de 0.0 a 1.0, gracias a T.ToTensor()).
La Letra "P"
Naturaleza del dato: Un tensor 2D binario y discreto. No hay gradientes, solo existen dos valores en toda la matriz: 0.0 (fondo) y 1.0 (la letra).
Naturaleza del dato: Un tensor 2D binario y discreto. No hay gradientes, solo existen dos valores en toda la matriz: $0.0$ (fondo) y $1.0$ (la letra).
Las funciones de activación en redes neuronales convolucionales tienen varios pasos cruciales:
Explora y experimenta con diferentes funciones de activación para ver cuál se adapta mejor a tu problema.
La diferencia entre una capa oculta y una capa intermedia en redes neuronales es más de terminología que de función. La "capa oculta" se refiere a cualquier capa que no sea la de entrada o salida; estas capas son responsables de aprender características complejas de los datos. Por otro lado, el término "capa intermedia" suele referirse específicamente a las capas ocultas que están entre la capa de entrada y la de salida.
Ambos tipos de capas pueden contener múltiples neuronas y aplicar funciones de activación, como ReLU o sigmoide, según lo que se esté aprendiendo.
.
