No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Regularización

17/22
Recursos

Aportes 9

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Hubo dos conceptos de regularización que no se mencionaron. El primero es BatchNorm, el segundo es Data Augmentation.

  • BatchNorm: Este se considera una inovación clave en el deep learning moderno (2016). Similar a la normalización de los inputs, pero en capas intermedias. Consiste en tomar un batch de datos calcular su media y varianza, actualizar los datos restandolos por su media y dividiendo por su varianza a esto sumarle la constante epsilon, para luego aplicarle una transformación. Más información en este link:
    https://towardsdatascience.com/batch-normalization-and-dropout-in-neural-networks-explained-with-pytorch-47d7a8459bcd

  • Data Augmentation: Esta técnica es simple pero elgante y se aplica bastante en imagenes, consiste en rotar la imagen o hacerle un zoom e incluir esta matriz en el algoritmo, ya sea el de una red generativa o convolucional. Es la misma imagen pero su matriz de datos no es la misma.

Resumen de la clase.

  • Regularización: método que disminuye o penaliza la complejidad de la red neuronal al identificar las variables que no aportan significancia a la explicación del problema en estudio.

  • Regularización L1: reduce la complejidad de la red al extraer solo las características más importantes. Esto se realiza disminuyendo los pesos de las variables de entrada que no aportan significancia.

  • Regularización L2: permite identificar patrones complejos y correlaciones entre variables. Esto podría aprovecharse al usar una sola variable para explicar el comportamiento de otras.

  • Regularización ElasticNet: implementa L1 y L2.

  • Regularización Dropout: consiste en desactivar por cada epoch (iteración) un cierto porcentaje de neuronas aleatorias. Esto trae consigo dos beneficios:

  1. El entrenamiento será más rápido.
  2. De manera general se disminuye la dependencia entre neuronas vecinas. A la larga, esto reduce la posibilidad de overfitting.

Ilustración de la regularización dropout:

De los mejores cursos que tiene Platzi. El profesor es excelente!

Regularización ElasticNet: Combina ambos beneficios de regularización Lx: L1: eliminar pesos no significativos L2: eliminar pesos correlacionados

… este curso esta raro

No se cansen de reportar los errores si los encuentran, por algo estamos pagando este curso.

¿ Como identifico en el modelo cuales son las variables que tienen bajo aporte?

¿ En cuales casos es mas conveniente la implementacion de cada método de regularización?. O debe iterar hasta encontrar cual da mejores indicadores de ajuste?

Que buena clase, la verdad que muy completa, hora de practicar!!