Regularización

Clase 17 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

Clase anteriorSiguiente clase

Alberto Perdomo

student•

Hubo dos conceptos de regularización que no se mencionaron. El primero es BatchNorm, el segundo es Data Augmentation.

BatchNorm: Este se considera una inovación clave en el deep learning moderno (2016). Similar a la normalización de los inputs, pero en capas intermedias. Consiste en tomar un batch de datos calcular su media y varianza, actualizar los datos restandolos por su media y dividiendo por su varianza a esto sumarle la constante epsilon, para luego aplicarle una transformación. Más información en este link: https://towardsdatascience.com/batch-normalization-and-dropout-in-neural-networks-explained-with-pytorch-47d7a8459bcd
Data Augmentation: Esta técnica es simple pero elgante y se aplica bastante en imagenes, consiste en rotar la imagen o hacerle un zoom e incluir esta matriz en el algoritmo, ya sea el de una red generativa o convolucional. Es la misma imagen pero su matriz de datos no es la misma.

María José Medina

student•

Resumen de la clase.

Regularización: método que disminuye o penaliza la complejidad de la red neuronal al identificar las variables que no aportan significancia a la explicación del problema en estudio.
Regularización L1: reduce la complejidad de la red al extraer solo las características más importantes. Esto se realiza disminuyendo los pesos de las variables de entrada que no aportan significancia.
Regularización L2: permite identificar patrones complejos y correlaciones entre variables. Esto podría aprovecharse al usar una sola variable para explicar el comportamiento de otras.
Regularización ElasticNet: implementa L1 y L2.
Regularización Dropout: consiste en desactivar por cada epoch (iteración) un cierto porcentaje de neuronas aleatorias. Esto trae consigo dos beneficios:

El entrenamiento será más rápido.
De manera general se disminuye la dependencia entre neuronas vecinas. A la larga, esto reduce la posibilidad de overfitting.

Ilustración de la regularización dropout:

Julián Andrés Santos Méndez

student•

De los mejores cursos que tiene Platzi. El profesor es excelente!

Christian Quispe Bonilla

student•

Regularización ElasticNet: Combina ambos beneficios de regularización Lx: L1: eliminar pesos no significativos L2: eliminar pesos correlacionados

Matias Alexander Ibarra Trujillo

student•

... este curso esta raro

Rfeb Fernando Ernesto Bogado

student•

algo paso porque venia bien, despues el video 16 es el cierre y ahora regularizacion. No llegue al final todavia pero falta validacion y prueba se me hace

SANTIAGO GOMEZ ZAPATA

student•

yo tambien creo lo mismo

Rodrigo Urquizo Yepez

student•

No se cansen de reportar los errores si los encuentran, por algo estamos pagando este curso.

ELKIN REINEL RUIZ RINCON

student•

¿ Como identifico en el modelo cuales son las variables que tienen bajo aporte?

ELKIN REINEL RUIZ RINCON

student•

¿ En cuales casos es mas conveniente la implementacion de cada método de regularización?. O debe iterar hasta encontrar cual da mejores indicadores de ajuste?

Ariel Sharpe

student•

Que buena clase, la verdad que muy completa, hora de practicar!!

Regularización

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso