Visualizando el proceso de entrenamiento

Clase 6 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

María José Medina

student•

⭐ Mis resultados:

loss : 27.95
mean_absolute_percentage_error : 15.30

🔻 Modelo:

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Activation

#Definición de la arquitectura
model = Sequential()
model.add(Dense(13, input_dim=13, kernel_initializer='normal',activation='relu'))
model.add(Dense(10, kernel_initializer='normal',activation='relu'))
model.add(Dense(8, kernel_initializer='normal',activation='relu'))
model.add(Dense(6, kernel_initializer='normal',activation='relu'))
model.add(Dense(4, kernel_initializer='normal',activation='relu'))
model.add(Dense(1, kernel_initializer='normal'))

# Compilación del modelo
model.compile(loss='mean_squared_error', optimizer='adam',metrics=['mean_absolute_percentage_error'])

👉 En las graficas se puede ver que a partir de los 200 epochs, los valores de error no varian mucho por lo que ese seria el número suficiente de iteraciones.

🔹 Mean absolute error:

🔹 Loss function:

Rodrigo Urquizo Yepez

student•

Como pueden observar en el grafico a medida que aumentan las iteraciones disminuye el error en el training data, sin embargo, en el validation data el error tambien disminuye pero sigue siendo mayor al error del training data, esto es un claro ejemplo de underfitting ya que el modelo no es efectivo para los datos de entrenamiento,y tampoco lo sera al momento de generalizar con nueva data.

Sergio Rubiano

student•

Esto pasaría por falta de datos ?

Rodrigo Urquizo Yepez

student•

En el curso de ML en coursera Andrew Ng en realidad dice que agregando mas datos no solucionara el underfitting(si lo hace con overfitting), por el contrario lo que se debe hacer es: -Aumentar el numero de features -Aumentar la complejidad de tu modelo, por ejemplo usar una regresion polinomica en vez de una lineal -Si usas regularizacion disminuir el valor del parametro alpha o lambda -En el caso de redes neuronales, agregar mas capas "ajusta" mas tu modelo, por lo que seria tambien una buena opcion

Jorge Sebastian Alvarez Herrera

student•

14.69 %


model = Sequential()

# Create our model
model.add(Dense(13, input_dim=13, kernel_initializer='normal', activation='relu'))

# Adding layers
# 9 inputs / neurons
model.add(Dense(9, kernel_initializer='normal', activation='relu'))

# Adding more layers
# 6 inputs / neurons
model.add(Dense(6, kernel_initializer='normal', activation='relu'))

# Adding more layers
# 3 inputs / neurons
model.add(Dense(3, kernel_initializer='normal', activation='relu'))

# Adding layers
# 1 output / neurons
model.add(Dense(1, kernel_initializer='normal'))

model.compile(loss='mean_squared_error', optimizer='adam', metrics=['mean_absolute_percentage_error'])

model.fit(x_train, y_train, batch_size=64, epochs=281, validation_data=(x_val,y_val))

result = model.evaluate(x_test, y_test)

result

María José Medina

student•

Cuales serian los valores óptimos del error que nos asegure que no hubo overfitting o underfitiing?

rusbel bermúdez rivera

student•

Hola Maria te recomiendo este articulo , en si no existe una formula para determinar cual es el valor del error optimo, nuestros modelos siempre deben ser generales para evitar el overfitting, pero deben ser entrenados con data de valores cualitativos y cuantitativos de la mayor cantidad/calidad posibles, siempre existira un trade off entre el bais y la varianza, y de momento este trabajo es artesanal (aunque puedes semi automatizarlo) y se base en la visualizacion de las graficas del comportamiento de nuestros modelos. te dejo un ejemplo

Para nuestro modelo recuerda que ante un escenario de underfitting la linea que traza su comportamiento tendra un Error bastante representativo al no aproximarse a los puntos de la data, mientras que en overfitting atraviesa todos.

En mi humilde punto de vista, salvo la mejor opinión de la comunidad un error del 10% o una precision que ronde el 90% es bastante adecuado, dado que inicialmente el split es 80% training 10% test y 10% validation, eso permite también al modelo ser flexible y cuando nos aproximemos al deep learning podremos utilizar nuestros modelos con el concepto de transferencia de conocimiento para poder realizar otras tareas adicionales a las que fueron entrenados.

Espero haber sido de ayuda.

María José Medina

student•

Muchas gracias Rusbel, buen aporte

Jeinner Daniel Báez Mantilla

student•

Creo que es muy necesario tener en cuenta el batch_size antes de modificar los demás parámetros.

Emma Juliana Gachancipa Castelblanco

student•

NOTA: Si la diferencia del loss de data set de validación y el set de entrenamiento es muy grande es porque la rede esta sobre ajustada (overfitted)

Rodrigo Urquizo Yepez

student•

Hola compañero, en realidad si vas a la anterior clase puedes observar que los datos de validacion los saca de los datos de entrenamiento al hacer: x_val = x_train[300:] y_val = y_train[300:] Por lo tanto, el modelo estaria fallando para los datos de entrenamiento(underfitted)

Julián Andrés Santos Méndez

student•

Llegué a un error del 11% con una arquitectura 13-6-4-6-1 y 400 epochs.

Alberto Perdomo

student•

14.8 %, con 199 epochs, batch_size = 38, y esta arquitectura:

ELKIN REINEL RUIZ RINCON

student•

Pregunta: Como puedo definir cual es la combinacion mas optima de valores de epochs, batch_size y funciones de activación mas convenientes para el entrenamiento de una red. Existen algunas recomendaciones o es necesario siempre realizar prueba y error para ir obteniendo algo mejor

Hector F

student•

En mi caso logré un error del 17.7604%.

Me desconcierta un poco el hecho de que el loss de validation es más bajo que el de entrenamiento en mi gráfica.

rusbel bermúdez rivera

student•

Comparto los resultados de mi experimento

# loss 13/6/4/1 con 100 epochs 19.08304214477539
# loss 13/13/6/4/1 con 100 epochs 20.731382369995117
# loss 13/13/6/4/1 con 200 epochs 16.245285034179688
# loss 13/13/6/4/1 con 500 epochs 13.11836051940918
# loss 13/13/6/4/1 con 1000 epochs 16.245285034179688

Paola Möhlinger

student•

Muy bueno el curso !!!!......Gracias

Arturo Baduna

student•

yo tuve un error medio de 10% con 1000 epocas y 100 de cv

import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Activation

#Definición de la arquitectura
model = Sequential()
model.add(Dense(13, input_dim=13, kernel_initializer='normal',activation='relu'))
model.add(Dense(10, kernel_initializer='normal',activation='relu'))
model.add(Dense(8, kernel_initializer='normal',activation='relu'))
model.add(Dense(6, kernel_initializer='normal',activation='relu'))
model.add(Dense(4, kernel_initializer='normal',activation='relu'))
model.add(Dense(1, kernel_initializer='normal'))

# Compilación del modelo
model.compile(loss='mean_squared_error', optimizer='adam',metrics=['mean_absolute_percentage_error'])

model = Sequential()

# Create our model
model.add(Dense(13, input_dim=13, kernel_initializer='normal', activation='relu'))

# Adding layers
# 9 inputs / neurons
model.add(Dense(9, kernel_initializer='normal', activation='relu'))

# Adding more layers
# 6 inputs / neurons
model.add(Dense(6, kernel_initializer='normal', activation='relu'))

# Adding more layers
# 3 inputs / neurons
model.add(Dense(3, kernel_initializer='normal', activation='relu'))

# Adding layers
# 1 output / neurons
model.add(Dense(1, kernel_initializer='normal'))

model.compile(loss='mean_squared_error', optimizer='adam', metrics=['mean_absolute_percentage_error'])

model.fit(x_train, y_train, batch_size=64, epochs=281, validation_data=(x_val,y_val))

result = model.evaluate(x_test, y_test)

result

# loss 13/6/4/1 con 100 epochs 19.08304214477539
# loss 13/13/6/4/1 con 100 epochs 20.731382369995117
# loss 13/13/6/4/1 con 200 epochs 16.245285034179688
# loss 13/13/6/4/1 con 500 epochs 13.11836051940918
# loss 13/13/6/4/1 con 1000 epochs 16.245285034179688

Visualizando el proceso de entrenamiento

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso