Demo: aprendiendo a separar clases

Clase 8 de 9 • Curso de Redes Neuronales y Backpropagation 2017

Clase anteriorSiguiente clase

Resumen

Datos importantes:

Una de las premisas de usar redes neuronales es que finalmente tenemos una herramienta que permite separar clases de forma no lineal.
Una sola línea no es capaz de poder separar las clases.

¿Qué necesitamos para implementar una red neuronal desde cero?

Generar la topología de la red neuronal
Representar los pesos
Representar las activaciones no lineales
Implementar la función de Backpropagation

Omar Florez

teacher•

Hola!. Para correr el código en su computadora:

git clone
python scratch_mlp/scratch_mlp.py

Marco Ochoa

student•

He seguido todo este curso y he aprendido poco, es un curso demasiado teorico, estaba un poco contento porque vi que en esta clase toca recien codigo pero ni siquiera dice como se hizo el codigo, hubiera sido genial que escriba ese codigo en un paso a paso en este video, pero no fue asi, o quizas yo estoy mal y me he metido al curso equivocado, si es asi disculpenme por ello, es mi primer dia en platzi! saludos

Alberto Sánchez

student•

Hola marco, yo me he quedado tambien un poco igual. Estaba emocionado con el curso pero luego me ha dejado tibio. Ya me ha pasado con algunos cursos, asi que hay un poco de todo. Desde cursos que te dejan con la miel en los labios a cursos que realmente si que merecen la pena y estan muy bien estructurados.

Jhonwil Abraham González Pérez

student•

SIN ANIMOS DE SONAR BURLISTA aunque el curso es realmente interesante, bueno y spongo que muy completo, “BASICAMENTE” opino que el profesor posee un gran problema de muletillas que supongo que simplemente con suprimirlas no volveria el curso un tanto tedioso al momento de tener que escucharlas en repetidas ocasiones y en ocasiones hasta sucesivas o una detrs de otra “literalmente hablando”. Esto no desmerita el grado de sabiduria en el area que tenga el profesor “OJO”, solo es una simple critica constructiva que a fin de cuentas es muy sencilla de suprimir… Saludos!

Daniel Enrique Astudillo Guzmán

student•

Es un buen feedback algunos cursos ya los están actualizando de lo que tengo entendido espero cuando actualicen este curso sigas aqui para verlo amigo! Saludos!

Nico Quiroz

student•

Hola Omar, entiendo que la dimension de entrada y salida son las misma (2).pero,¿en función de que definís la dimensión de la capa oculta? en este caso veo que son 3, y por que no sería 4, 5 ,6 ó 1000. Gracias!

Omar Florez

teacher•

Gran pregunta Nico! Hay varias formas de responderlo, voy a ensayar la siguiente:

La cantidad de capas ocultas aumentan la ‘capacidad’ de un modelo. Una red neuronal con alta capacidad puede aprender una mayor cantidad de funciones, principalmente porque tiene mas parametros (learning parameters) para aproximar tal funcion. En resumen, mas capas significan mas parametros (pesos) a actualizar y su valor optimo depende del dataset con el que estes trabajando y tipicamente se calcula a traves de cross-validation.
Cross-validation es un metodo que consiste en probar distintos valores de un hyperparametro, en nuestro caso el numero de capas, y probar el model con ese hyperparametro separarando de forma aleatoria el dataset entre datasets de training/testing. Luego se tomar el numero de capas que resulto en una mayor exactitud o se repite el experimento varias veces y se reporta el numero de capas que dio la mejor exactitud promedio.

Andres Leonardo Arevalo

student•

Función sigmoid

Andres Leonardo Arevalo

student•

A que se debe que el learning_rate se tome con signo negativo?

Allan Perez

student•

No es por el learning rate. Es la derivada que tiene valor negativo. Hay que tener en cuenta que es realmente el gradiente, y este apunta a divergencias en la función, los máximos. Pero nosotros queremos minimizar esta misma función. Por lo tanto buscamos la inversa, el negativo.

Fabricio Xavier Galárraga Pérez

student•

un curso bastante teorico, sin practicas , muy corto, esta practica con codigo ya hecho y al momento de descargarlo me sale que puede tener virus...primer curso q no me satisface para nada en platzi, deberian modificarlo actualizarlo

Grileudy Avilan

student•

Para que sirve la actualización de pesos?

Diego Forero

Team Platzi•

El profesor lo explica en este punto https://platzi.com/clases/redes-neuronales/concepto/optimizacion-matematica/demo-aprendiendo-a-separar-clases/material/?time=346 cuando una la pendiente de la función sigmoidal que es la que representa el aprendiza de la red se aproxima a 0 entonces el modelo deja de aprender. Al actualizar los pesos se garantiza que la red siga aprendiendo.

Dante Jauregui Yallico Jauregui Yallico

student•

Profesor Omar, para los casos practicos donde tengamos que escribir codigo, podemos tener usa tambien Docker como el curso anterior?? para no complicarnos con la instalacion y enfocarnos en aprender.

Comento esto anticipado ya que aun no se ve mucho codigo, y tampoco se ha colgado los Jupyter notebooks…seria genial en este curso tambien usar DOCKER, si fuera posible

Gracias!

Omar Florez

teacher•

Gran sugerencia Dante, la tomare muy en cuenta! El codigo solo necesita numpy y funciona con Python 2 y 3, mas estas en lo cierto.

Dante Jauregui Yallico Jauregui Yallico

student•

Si profesor seria genial…para tener todo el environment encapsulado, como el anterior curso se hizo 😃 Por favor nos confirma en unas semanas si se podria hacer eso 😃
gracias por su tiempo!

Osmandi Gomez

student•

¿Alguien ha corrido el Demo?

Omar Florez

teacher•

git clone
python scratch_mlp/scratch_mlp.py

Osmandi Gomez

student•

Muchas gracias profesor Omar

Jose Antonio De jesus Alcantara

student•

Hola , donde encontramos ejemplo que el esta presentando

Jahir Moreno

student•

git clone https://github.com/omar-florez/scratch_mlp/ python scratch_mlp/scratch_mlp.py

Juan Carlos Valencia López

student•

más dice básicamente :/, no me deja comprender bien

Pedro Escobar

student•

Al intentar correr el demo me arroja este error:

from scratch_mlp import utils
ImportError: cannot import name ‘utils’

If you suspect this is an IPython bug, please report it at:

or send an email to the mailing list at

You can print a more detailed traceback right now with “%tb”, or use "%debug"
to interactively debug it.

Extra-detailed tracebacks for bug-reporting purposes can be enabled via:
%config Application.verbose_crash=True

Diego Forero

Team Platzi•

Creo que es un problema con el nombre de la carpeta y del archivo cambia esa linea en scratch_mlp.py por solo import utils y debe funcionar, eso si recuerda que te va a pedir los requerimientos de paquetes.

Hugo Parischewsky Zapata

student•

Hola Pepe,

solucioné el mismo problema cambiando la linea que dice

from scratch_mlp import utils

por

import utils

Saludos.

Gabriel Acosta

student•

¿la red neuronal que hemos estado viendo es el perceptrón multicapa?

Omar Florez

teacher•

Asi es, tambien conocido como Multi Layer Perceptron (MLP)

Camilo Andrés González Gómez

student•

Hola, me pareció corto este curso y no hay un ejemplo de aplicación real, y explica una metodología o algo para la resolución de problemas.

Tengo dos dudas:

si quiero que mi red neuronal optimice el numero de neuronas hasta llegar a una solución aceptable para la necesidad que se esta solucionando como lo puedo hacer? que recomiendan?
No he podido correr el ejemplo por que import Utils no funciona, lo instale en python y en Conda pero nada.

Andres Leonardo Arevalo

student•

Explicación de la calibración de las matrices w1 y w2

Demo: aprendiendo a separar clases

Retropropagación: Visión general

Cómo funciona el aprendizaje supervisado en una Red Neuronal

Un LEGO a la vez: Explicando las matemáticas de cómo aprenden las Redes Neuronales

Evaluación de errores

Función de costo, supuestos y probabilidad

Un Ejemplo Concreto: Aprendiendo la Función XOR

Optimización matemática

Cuál es el algoritmo de retropropagación

Actualizar los pesos de la red neuronal utilizando gradientes

Propagación hacia atrás

Demo: aprendiendo a separar clases

Implementación y ejemplos de redes neuronales funcionando