Batch normalization

Clase 19 de 25 • Curso de Redes Neuronales Convolucionales con Python y Keras

Clase anteriorSiguiente clase

David E Marquez S

student•

Faltó el "plattttziiii" al inicio del video

Carlos Isael Ramírez González

student•

educacion profesional efectiva

Joaquin Romero Flores

student•

Batch Normalizacion

Es una herramienta que facilita mucho el descenso del gradiente y optimiza las redes convolucionales.

La normalización es un procedimiento llevado a cabo sobre un conjunto de datos que busca estandarizar sus valores, reducir la cantidad de números que lo compone y en una escala homogénea de datos ayudando al descenso del gradiente “para converger mucho más rápido ” cuando se ejecuta el “Backpropagation” .

Valores pequeños: típicamente entre 0 a 1
Data homogénea: todos los píxeles tienen datos en el mismo rango.

También, se puede dentro de las capas ocultas de la red neuronal llevar a cabo una normalización para así estandarizarla, a este proceso se le conoce como: “Batch Normalization”.

Sigue la misma lógica matemática de cualquier normalización:

Agrupo por lotes o “batches” dentro del mismo entrenamiento de la red neuronal, en consecuencia, obtengo la media del conjunto de entrenamiento.
Luego obtengo la varianza o desviación estándar
Luego a cada lote le resto la media y lo divido entre la desviación estándar. Este procedimiento se usa en la normalización de cualquier tipo de problema y así mismo ocurre dentro de la instancia en la red neural de las capas ocultas.
Consiguiendo como resultado que sea una data estandarizada incluso dentro del entrenamiento dentro de la red ayudando a converger el algoritmo.

Tomas Dale

student•

Existe alguna referencia de en que capa agregar el BatchNormalization, o es recomendable para todas las capas?

Alarcon7a

student•

siempre han existido varias hipotesis, yo prefiero after the activation layer

Jhon Freddy Tavera Blandon

student•

La normalización por lotes es una técnica utilizada en redes neuronales profundas para estabilizar y acelerar el entrenamiento. Funciona normalizando la salida de cada capa oculta antes de pasarla a la siguiente capa, asegurando que la distribución de las activaciones se mantenga relativamente constante durante el entrenamiento.

La normalización por lotes es una técnica poderosa para mejorar la estabilidad y velocidad de entrenamiento en redes neuronales profundas, al tiempo que proporciona cierta regularización y flexibilidad al modelo.

Batch normalization

Redes convolucionales y su importancia

La importancia del computer vision

¿Qué herramientas usaremos para redes neuronales convolucionales?

¿Qué son las redes convolucionales?

Mi primera red neuronal convolucional

Creando nuestra primera red convolucional

Entrenando nuestra primera red convolucional

Manejo de imágenes

Consejos para el manejo de imágenes

Manejo de imágenes con Python

Fundamentos de redes neuronales convolucionales

Kernel en redes neuronales

El kernel en acción

Padding y Strides

Capa de pooling

Arquitectura de redes convolucionales

Resolviendo un problema de clasificación

Clasificación con redes neuronales convolucionales

Creación de red convolucional para clasificación

Entrenamiento de un modelo de clasificación con redes convolucionales

Optimización de red neuronal convolucional

Data augmentation

Aplicando data augmentation

Callbacks: early stopping y checkpoints

Batch normalization

Optimización de modelo de clasificación

Entrenamiento de nuestro modelo de clasificación optimizado

Resolviendo una competencia de Kaggle

Clasificando entre perros y gatos

Entrenamiento del modelo de clasificación de perros y gatos

Resumen y siguientes pasos

Siguientes pasos con redes neuronales convolucionales

Comparte tu proyecto de clasificación con redes convolucionales y certifícate