Aprender conceptos iniciales de Deep Learning

1

¿Qué es el Deep Learning?

2

¿Qué son las redes neuronales artificiales?

3

¿Por qué el Deep Learning ahora?

4

Pytorch y los diferentes frameworks de Deep Learning

5

Setup en Google Colab

Entender la API de Pytorch

6

¿Qué son los tensores?

7

Tensores y datasets

8

Capas de una red neuronal en Pytorch

9

Crear una red neuronal en Pytorch

10

¿Cómo cargar datos en Pytorch?

11

¿Cómo entrenar una red en Pytorch?

12

Loop de entrenamiento de la red neuronal

Entrenar Redes Neuronales Profundas

13

Ciclo de trabajo para el Deep Learning

14

Espacio de modelos

15

Función de perdida

16

Método de optimización: SGD y Backpropagation

17

Autograd y métodos de optimización

18

¿Cómo evaluar la performance de la red neuronal?

19

Regularización de redes neuronales profundas

20

Implementando la Regularización

21

Optimización de hiperparametros

22

Transfer learning

Construir nuestro propio modelo

23

Presentación del problema

24

Definiendo la red generativa que construiremos: CycleGAN

25

Creando la red generadora convolucional

26

Creando el decoder de la red generadora

27

Construyendo las redes discriminativas

28

Preparando el entrenamiento

29

Instanciando redes, perdidas

30

Instanciando optimizadores y schedulers

31

Calculando las pérdidas

32

Entrenando

33

Cómo visualizar y debugear el entrenamiento

34

Cómo utilizar tu modelo una vez entrenado

35

Cómo utilizar una GPU personal con Google Cloud

Llegar más lejos

36

¿Por qué el Deep Learning es más poderoso que el Machine Learning Tradicional?

37

Para ir más lejos

38

Cierre del curso

Bonus

39

¿Por qué aprender Deep Learning?

Aún no tienes acceso a esta clase

Crea una cuenta y continúa viendo este curso

Regularización de redes neuronales profundas

19/39
Recursos

Aportes 5

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.

<h1>regularizaciones</h1>

  • L2 o decaimiento de los pesos, donde los errores altos seran elevado al cuadrado y penalizaran a sus respectivos pesos, y esto hara que decayga rapidamente el error del modelo.

  • Dropout o freeze random de las Neuronas de las capas intermedias, solo actúan durante la fase de entrenamiento, durante la fase de evaluacion dropout no tiene efecto.

  • Batch Norm: al igual que se normalizan los imputs, esta normalizara las capas intermedias de nuestra RN.

    • calcula la media y varianza de cada batch de datos.
    • Actualiza los datos restando la media y dividiendola por la (varianza más epsilo).
    • despues de eso hacer la normalización, $f(x) = x * y + β $, que esa funcion lineal lo llevara a la imagen a una distribucion Gausseana.
    • Por qué es eficiente Batch Norm?, porque usar batch norm hace que el entrenamiento sea más rapido, porque de muchos minimos y maximos locales con batch norm hace que de una cordillera tan dificil de performance se convierta en un monte que es más plano y más rapido a la hora del entrenamiento de nuestra RN.
  • Data Augmentation: con el fin de aumentar nuestra data para haci disminuir la capacidad de nuestro modelo y estar en un JustRight, imaginemos que utilizamos una imagen del data set la cual le aplicaremos pequeñas transformaciones como rotar, filtros, zoon, etc. la cual para nuestra red estos representaran tensores completamente distintos a la imagen orginal y para así tener un dataset más extenso.

si alguien quiere investigar de como se aplican algunos metodos y más bien, como se originaron (tomemos en cuenta que la mayoria de estos se idearon en las ultimas 2 decadas) esta el libro:
**How Smart Machine Learn. **
Libro del 2018 que cuenta la historia de las maquinas hasta llegar a DL y otras cosas más complejas y que es buena lectura para identificarse mejor con los conceptos que esta enseñando el profe ahora.
Gracias a este, se la importancia de la regularizacion y del Data Augmentation para mejorar la performance de un algoritmo DL
Saludos :p

Hola, ¿Puedes pasar el nombre del articulo del MIT 2019 sobre el batch norm ?
Gracias

<h1>La receta para construir una RN de buena Performance:</h1>

  1. Construir un primer modelo simple que logre aprender sobre los datos.
  2. Este modelo probablemente a pesar de haber aprendido sea muy simple y tenga sesgo(Underfitting).
  3. Aumentamos la capacidad del modelo hasta Overfittearlo.
  4. Regulizar para encontrar el buen punto medio(JustRight) entre Underfitting y Overfitting.

Sesgo