Aprender conceptos iniciales de Deep Learning

1

¿Qué es el Deep Learning?

2

¿Qué son las redes neuronales artificiales?

3

¿Por qué el Deep Learning ahora?

4

Pytorch y los diferentes frameworks de Deep Learning

5

Setup en Google Colab

Entender la API de Pytorch

6

¿Qué son los tensores?

7

Tensores y datasets

8

Capas de una red neuronal en Pytorch

9

Crear una red neuronal en Pytorch

10

¿Cómo cargar datos en Pytorch?

11

¿Cómo entrenar una red en Pytorch?

12

Loop de entrenamiento de la red neuronal

Entrenar Redes Neuronales Profundas

13

Ciclo de trabajo para el Deep Learning

14

Espacio de modelos

15

Función de perdida

16

Método de optimización: SGD y Backpropagation

17

Autograd y métodos de optimización

18

¿Cómo evaluar la performance de la red neuronal?

19

Regularización de redes neuronales profundas

20

Implementando la Regularización

21

Optimización de hiperparametros

22

Transfer learning

Construir nuestro propio modelo

23

Presentación del problema

24

Definiendo la red generativa que construiremos: CycleGAN

25

Creando la red generadora convolucional

26

Creando el decoder de la red generadora

27

Construyendo las redes discriminativas

28

Preparando el entrenamiento

29

Instanciando redes, perdidas

30

Instanciando optimizadores y schedulers

31

Calculando las pérdidas

32

Entrenando

33

Cómo visualizar y debugear el entrenamiento

34

Cómo utilizar tu modelo una vez entrenado

35

Cómo utilizar una GPU personal con Google Cloud

Llegar más lejos

36

¿Por qué el Deep Learning es más poderoso que el Machine Learning Tradicional?

37

Para ir más lejos

38

Cierre del curso

Bonus

39

¿Por qué aprender Deep Learning?

Para ir más lejos

37/39

Lectura

Para ir más lejos

El deep learning es un aréa muy activa de investigación y nuevas aplicaciones aparecen cada semestre que llevan el estado del arte un paso más adelante. Con nuestro curso ya tienes todas las herramientas para entender papers y cursos más especificos de Deep Learning por lo que te invito a seguir aprendiendo, internet está lleno de recursos geniales y sólo depende de ti poner en práctica lo aprendido y volverte un verdadero experto en el area.

Topics adicionales

  • Embeddings y arquitecturas para NLP
  • Redes Recursivas y LSTM
  • Deep Reinforcement Learning
  • Autoencoders y Deep Learning Bayesiano

Los embeddings son una forma de representar datasets de texto en espacios vectoriales. Esto permite que ciertas propiedades semánticas sean transportadas a propiedades naturales del espacio vectorial (distancia por ejemplo). Un modelo de base es Word2Vec que és una red neuronal de 2 capas. Últimamente han habido grandes avances gracias a redes neuronales profundas que permiten construir embeddings interesantes como BERT, GPT o ELMO.

Las redes recursivas permiten trabajar con data secuencial, como por ejemplo datos de stock, datos de venta o datos de sensores. Las capas LSTM son de las más iconicas y probablemente algo que necesites aprender sí o sí.

El Deep Reinforcement Learning corresponde a lo que se ha utilizado para resolver juegos como el Go y Dota. De manera general el aprendizaje reforzado consiste en optimizar una función de recompensa según la acción que uno (el programa) realice. Optimizar directamente la función corresponde a las técnica de Policy Gradient, mientras que a esta optimización agregarle una noción de predicción del retorno según la acción aplicada son las técnicas de Q-learning. AlphaGo ocupa ambas a traves de redes profundas.

Por último los autoencoders son redes generativas así como las GAN sólo que reposan más en una lógica de compresión óptima en vez de una noción de juego a suma nula entre dos redes. Las redes bayesanas reposan cómo su nombre lo indica en técnicas bayesianas, donde no solo se aprende un estimador puntual de los párametros de la red, sino que una distribución de probabilidad sobre estos. El tener una distribución de probabilidad entrega mucha más información sobre la situación en la que estamos trabajando, y gracias a esto podemos tener margenes de confianza sobre nuestras predicciones y hacer inferencia más robusta en casos delicados como por ejemplo casos médicos.

Recursos

Google Scholar te permitirá buscar papers, mientras que arxiv sanity te permitirá descubrir papers de calidad que han salido recientemente, quitando el ruido que puede haber por la gran cantidad de papers publicados en Deep Learning.

2 minutes papers es un recurso genial para ver resumenes rápidos de papers y elegir los que te parezcan más interesantes. The increible Pytorch es una lista de referencias hacia recursos interesantes de Deep Learning realizados en Pytorch. Y por último si te olvidas de algunas formulas o tienes algunas dudas el Deep Learning Cheatsheet te servirá de apoyo ya que resume los puntos cruciales de dos excelentes cursos de Deep Learning de Stanford.

Personas

  • Fei Fei Li, Justin Johnson, Andrej Karpathy
  • Andrew NG
  • Roger Grosse
  • Yoshua Bengio e Ian Goodfellow
  • Ali Rahimi y Ben Recht
  • Gabriel Peyré
  • Y muchos más…

Fei Fei Li, Justin Johnson y Andrej Karpathy son profesores en Stanford, y su cursos son al mismo tiempo de un nivel avanzado pero de una claridad pocas veces encontrada en el medio. Por lo demas Fei Fei y Andrej son figuras muy conocidas por sus puestos en la industria.

Andrew NG es un reconocido investigador y fundador de Coursera, tiene el MOOC más visto de Machine Learning de todos los tiempos, y también fue Director de AI de Baidu.

Roger Grosse tiene excelentes cursos, muy claros sobre todo en la parte matemática. Su twitter es muy interesante también.

Yoshua Bengio es premio Turing e Ian Goodfellow inventó las GAN. Conjuntamente escribieron el excelente libro Deep Leanrning Book cuyos capitulos se encuentran disponibloes gratuitamente en internet.

Ali Rahimi y Ben Wrecht sobre salen un poco del lote por sus posturas críticas acertadas y son un agrado de leer. Ali y Ben buscan una mejor formalización del éxito del aprendizaje de las redes neuronales, hoy en día una disciplina muy empírica pero que podría beneficiar de insights téoricos y de frameworks de modelización más claros.

Gabriel Peyré es profesor en ENS Paris, y tanto sus mathematical tours of data science como sus infografías en twitter son geniales para entender mejor el aprendizaje, el deep learning y el computer vision.

Aportes 7

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad? Crea una cuenta o inicia sesión.

un canal de youtube que habla mucho sobre las noticias, programas y papers del mundo de la AI es Dot CSV, es un canal de habla hispana y me ha servido para entende mas este mundo
Dot CSV

Gracias por este material excelente y de buena calidad

Hola! Otro recurso que recomiendo es el material de este curso https://cs231n.github.io, la clase de CNN para visión por computador de Stanford. En Youtube están las clases grabadas del 2017. Aunque al comienzo me pareció un poquito complicado es un excelente material para entender este tipo de redes en detalle 😃

Gracias! los recursos son uno de los elementos que más impactan en la educación autodidacta.

Gracias por compartir estos recursos.

Esta página igual contiene excelentes papers que usualmente tienen explicaciones graficas que ayudan mucho a entender temas complejos.
https://paperswithcode.com/

Esos topicos finales en encantaron XD