Para ir más lejos

El deep learning es un aréa muy activa de investigación y nuevas aplicaciones aparecen cada semestre que llevan el estado del arte un paso más adelante. Con nuestro curso ya tienes todas las herramientas para entender papers y cursos más especificos de Deep Learning por lo que te invito a seguir aprendiendo, internet está lleno de recursos geniales y sólo depende de ti poner en práctica lo aprendido y volverte un verdadero experto en el area.

Topics adicionales

• Embeddings y arquitecturas para NLP
• Redes Recursivas y LSTM
• Deep Reinforcement Learning
• Autoencoders y Deep Learning Bayesiano

Los embeddings son una forma de representar datasets de texto en espacios vectoriales. Esto permite que ciertas propiedades semánticas sean transportadas a propiedades naturales del espacio vectorial (distancia por ejemplo). Un modelo de base es Word2Vec que és una red neuronal de 2 capas. Últimamente han habido grandes avances gracias a redes neuronales profundas que permiten construir embeddings interesantes como BERT, GPT o ELMO.

Las redes recursivas permiten trabajar con data secuencial, como por ejemplo datos de stock, datos de venta o datos de sensores. Las capas LSTM son de las más iconicas y probablemente algo que necesites aprender sí o sí.

El Deep Reinforcement Learning corresponde a lo que se ha utilizado para resolver juegos como el Go y Dota. De manera general el aprendizaje reforzado consiste en optimizar una función de recompensa según la acción que uno (el programa) realice. Optimizar directamente la función corresponde a las técnica de Policy Gradient, mientras que a esta optimización agregarle una noción de predicción del retorno según la acción aplicada son las técnicas de Q-learning. AlphaGo ocupa ambas a traves de redes profundas.

Por último los autoencoders son redes generativas así como las GAN sólo que reposan más en una lógica de compresión óptima en vez de una noción de juego a suma nula entre dos redes. Las redes bayesanas reposan cómo su nombre lo indica en técnicas bayesianas, donde no solo se aprende un estimador puntual de los párametros de la red, sino que una distribución de probabilidad sobre estos. El tener una distribución de probabilidad entrega mucha más información sobre la situación en la que estamos trabajando, y gracias a esto podemos tener margenes de confianza sobre nuestras predicciones y hacer inferencia más robusta en casos delicados como por ejemplo casos médicos.

Recursos

• Google Scholar, Arxiv (sanity)
• Deep Learning Book
• Canal Youtube: 2 minute papers
• Deep Learning cheatsheets
• The Incredible Pytorch en Github
• Twitter

Google Scholar te permitirá buscar papers, mientras que arxiv sanity te permitirá descubrir papers de calidad que han salido recientemente, quitando el ruido que puede haber por la gran cantidad de papers publicados en Deep Learning.

2 minutes papers es un recurso genial para ver resumenes rápidos de papers y elegir los que te parezcan más interesantes. The increible Pytorch es una lista de referencias hacia recursos interesantes de Deep Learning realizados en Pytorch. Y por último si te olvidas de algunas formulas o tienes algunas dudas el Deep Learning Cheatsheet te servirá de apoyo ya que resume los puntos cruciales de dos excelentes cursos de Deep Learning de Stanford.

Personas

• Fei Fei Li, Justin Johnson, Andrej Karpathy
• Andrew NG
• Roger Grosse
• Yoshua Bengio e Ian Goodfellow
• Ali Rahimi y Ben Recht
• Gabriel Peyré
• Y muchos más…

Fei Fei Li, Justin Johnson y Andrej Karpathy son profesores en Stanford, y su cursos son al mismo tiempo de un nivel avanzado pero de una claridad pocas veces encontrada en el medio. Por lo demas Fei Fei y Andrej son figuras muy conocidas por sus puestos en la industria.

Andrew NG es un reconocido investigador y fundador de Coursera, tiene el MOOC más visto de Machine Learning de todos los tiempos, y también fue Director de AI de Baidu.

Roger Grosse tiene excelentes cursos, muy claros sobre todo en la parte matemática. Su twitter es muy interesante también.

Yoshua Bengio es premio Turing e Ian Goodfellow inventó las GAN. Conjuntamente escribieron el excelente libro Deep Leanrning Book cuyos capitulos se encuentran disponibloes gratuitamente en internet.

Ali Rahimi y Ben Wrecht sobre salen un poco del lote por sus posturas críticas acertadas y son un agrado de leer. Ali y Ben buscan una mejor formalización del éxito del aprendizaje de las redes neuronales, hoy en día una disciplina muy empírica pero que podría beneficiar de insights téoricos y de frameworks de modelización más claros.

Gabriel Peyré es profesor en ENS Paris, y tanto sus mathematical tours of data science como sus infografías en twitter son geniales para entender mejor el aprendizaje, el deep learning y el computer vision.