No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Regularizaci贸n - Dropout

21/29
Recursos

Aportes 11

Preguntas 2

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

o inicia sesi贸n.

en el m茅todo de regularizaci贸n, el par谩metro no es delta, es la letra griega lambda.

Interesante, no conoc铆a el dropout ni regularizaci贸n.
La red conspira en mi contra. Nunca pens茅 en eso 馃槀

El overfitting es el sobre ajuste de los datos o dicho de otro modo la memorizaci贸n de los datos.

Se debe reducir la complejidad del modelo.

  • Con la regularizaci贸n se penaliza a la funci贸n de coste, usando el valor de los pesos.

  • El dropout desconecta o apaga a un % de neuronas para en cada iteraci贸n. Esto es para evitar la dependencia entre neuronas.

Una cosa que no me hab铆a quedado claro y que me ayud贸 a entender toda la explicaci贸n:
La funci贸n de costo es lo mismo que la funci贸n de p茅rdida 馃槃 El profesor usa los dos t茅rminos de forma indistinta porque ambos se refieren a las mismas funciones, tales como el error cuadr谩tico medio, el binary crossentropy y el categorical crossentropy que nos permiten evaluar el error de las predicciones.

Dropout Training time

Cuando me cont贸 la historia del dropout tuve un momento 鈥淓ureka鈥 hahahaha; este mundo de los par谩metros es super genial. Antes de este curso, pensaba que exist铆a un 鈥渕anual鈥 para la correcta configuraci贸n de una red neuronal, pero al parecer es ir iterando hasta conseguir el resultado que queremos

Gracias. Ahora es mas claro, quizas la confusion radicaba en traducir del ingles. En ingles iteraci贸n (iteration) se define como el numero de bratches necesarios para completar un 鈥渆poch鈥. Siendo un bratch un subconjunto de los datos de entrenamiento. Aqui en el curso interaci贸n se define como epoch. Si estoy en algo incorrecto por favor dejenmelo saber.

Regularizaci贸n - Dropout

Overfitting es un problema que ocurre cuando el modelo se aprende de memoria los datos en lugar de aprender acerca del problema que se le presenta

Una red neuronal puede llegar a overfitting porque cada neurona se vuelve m谩s especifica con los datos

Una de las formas m谩s sencillas de reducir el overfitting es usando un modelo m谩s peque帽o.

Esto es si tenemos una red demasiado compleja con demasiados par谩metros se apegar谩 demasiado a estos datos haciendo overfitting

Y si tenemos una red demasiado sencilla llegar铆a a underfitting porque no lograr铆a adaptarse al problema siendo tan peque帽a

no existe receta de cocina para evitar el underfitting y el overfitting, ni para saber cu谩ntas capas deber铆a tener mi red ni cuantas neuronas deber铆a tener cada capa, aun as铆, una t茅cnica es empezar con un modelo muy peque帽o y una vez c贸mo se comporta iterar

Regularizaci贸n

viene de un problema de hacer los datos m谩s regulares

Occam鈥檚 Razor 鈥淲hen faced with two equally good hypothesis, always choose the simpler one.鈥

Reducir la complejidad del modelo, para hacer esto debemos reducir los pesos que arroja nuestra red al entrenar, la regularizaci贸n se lograr con una f贸rmula matem谩tica

en la cual la regularizaci贸n castiga la funci贸n de perdida utilizando el valor absoluto del peso o el peso al cuadrado multiplicado por un delta

aqu铆 siendo el valor decisivo lambda $\lambda$ que mientras mayor su valor mayor el efecto de la regularizaci贸n sobre la funci贸n de perdida.

Dropout

Otra t茅cnica para reducir el overfitting es el Dropout

la universidad que planteo esto tuvo la idea haciendo fila en un banco y viendo que cada cierta cantidad de personas de la fila avanzaban los cajeros cambiaban de lugar internamente de forma aleatoria
Esto lo hacen para evitar que una persona que haga fila para ver un cajero reducir la posibilidad de atender alguien que conozca y que est茅n conspirando o tenga la intenci贸n de hacer alg煤n fraude.

entonces pensaron que tal si mis redes neuronales est谩n conspirando entre si con los valores de entrada, entonces qu茅 tal si muevo mis valores de entrada para que la conspiraci贸n no sea tan alta

el dropout consiste durante cada una de las 茅pocas apagar ciertas neuronas de forma aleatoria para reducir el exceso de exactitud que ocasiona el overfitting

Geoffrey Hinton

Para los que quieran saber mas de la regularizaci贸n L1 y L2: