Entrenando nuestra primera red neuronal

Clase 5 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

Rodrigo Urquizo Yepez

student•

Los datos de validacion en realidad tratan de un metodo llamado cross validation error, el cual consiste en separar tus datos en training data, validation data y test data(1, 2 y 3), esto para evaluar la eficacia de los parametros de nuestro modelo, entonces primero lo que se hace es usar 1 y 2 para training y 3 para test, luego podriamos usar 2 y 3 para training y 1 para test, y asi vamos probando hasta que hallemos un modelo donde los parametros nos den la perdida minima.

Karen Rodríguez Henríquez

student•

Me parece que el curso está muy bien explicado. Por supuesto que el estudiante debe complementar lo aprendido con otras fuentes si quiere ser un mastery, pero le he entendido mejor que a otros explicando lo mismo. Muy bien!!!

Marcelo Sánchez

student•

¡Hasta ahora el curso es una bomba!!!

María José Medina

student•

Además de hacer la división en datos de entrenamiento y datos de prueba, se debe hacer una division adicional conocida como validación.
Con la validación el algoritmo va a ir tomando una proporción de datos recurrentemente para hacer evaluaciones con las métricas de desempeño.
Los datos de validación se toman de los datos de entrenamiento.

johan Stever Rodriguez Molina

student•

Una pregunta que sería interesante poder responder, es: ¿como hacer el proceso de tunning que me permita saber cual configuración de parámetros me permite minimizar el error del modelo?.

Alberto Perdomo

student•

Johan, en la literatura existen tres metodos para optimizar hiperparametros:

Babysitting: Optimización manual.
RandomGrid: Similiar al grid search del ML tradicional.

3.Optimización Bayesiana: requiere eliminar predictores sin inferencia estadistica o estadisitcamente irrlevante, definir funciones de adecuación, definir las funciónes de ajsute preciso. Computacionalmente es el menos preciso de todos.

Los Hiperparametros por jerarquia son los siguientes:

Learning rate
Momentum
Mini-batch size
Cantidad de neuronas por capa
Cantidad de capas

Alejo Goncalves

student•

Estoy teniendo el siguiente error: Epoch 1/5 TypeError Traceback (most recent call last) <ipython-input-127-8f68e615615c> in <module>() ----> 1 model.fit(x_train,y_train,batch_size=32,epochs=5,validation_data=(x_val,y_val))

alguien sabe como solucionarlo?

`model.fit(x_train,y_train,batch_size=32,epochs=5,validation_data=(x_val,y_val)) ````

Andres Mauricio Cano Causil

student•

Para que sirve exactamente el parametro de validation_data? no se supone que ya estamos evaluando el error de nuestro modelo con el y_train?

Alberto Perdomo

student•

Andres sí hay dos datasets. Uno de entrenamiento y uno de prueba. Sin embargo, es una buena practica subdividir el set de entrenamiento en otro de validación para evitar el sobreajuste de un modelo. Piensalo como un filtro antes de la prueba final.

Xavier Medina Veintimilla

student•

Los datasets a nivel profesional se dividen en 3: entrenamiento, validación y test. El de test nunca se mira ni se toca (enserio, jamás. Hasta que el modelo esté listo).

Proporción dataset aproximados:

train 70%
validation 10%
test 20%

Entonces trabajamos con el de entrenamiento y validación. El de entremiento únicamente entrena el model (no tiene capacidad de dar un error por sí solo). Mientras que los datos de validación se usan para encontrar ese error, llamado error de entrenamiento, usando cross validation. Al final, cuando ya se tenga un modelo elegido, se usan los datos de test para obtener el error de test.

Kevin Naranjo

student•

hay alguna manera para dividir los datos en training validation y test? automaticamente popniendo solo los porcentajes

Milton Fernando Ceballos Caicedo

student•

# Me funciono de esta manera si a alguien le interesa
# idea grafica del modelo hasta ahora contruido
import keras
from keras.utils.vis_utils import plot_model
plot_model(modelo, to_file='modelo.png', show_shapes= True)

Usuario anónimo

user•

A alguien más le pasó esto? Quisiera saber qué hice mal para que solo considere 13 muestras y no 404.

Usuario anónimo

user•

<code>
import tensorflow as tf

(X_train,Y_train) , (X_test, Y_test) = tf.keras.datasets.boston_housing.load_data(
    path="boston_housing.npz", test_split=0.2, seed=10

from keras.models import Sequential 
from keras.layers import Dense, Activation


modelo = Sequential()
modelo.add(Dense(13, input_dim=13, kernel_initializer = 'normal', activation = 'relu'))
modelo.add(Dense(6, kernel_initializer = 'normal', activation = 'relu'))
modelo.add(Dense(4, kernel_initializer = 'normal', activation = 'relu'))
modelo.add(Dense(1, kernel_initializer = 'normal'))

modelo.compile(loss='mean_squared_error', optimizer = 'adam', metrics= ['mean_absolute_percentage_error'])

from keras.utils import plot_model
plot_model(modelo, to_file = 'modelo.png', show_shapes=True)

X_val = X_train[300:,] 
Y_val = Y_train[300:,]
modelo.fit(X_train, Y_train, batch_size=32, epochs= 5, validation_data=(X_val, Y_val))

Usuario anónimo

user•

Lo anterior es mi código.

Alejo Goncalves

student•

Estoy teniendo el siguiente error: Epoch 1/5

TypeError Traceback (most recent call last) <ipython-input-127-8f68e615615c> in <module>() ----> 1 model.fit(x_train,y_train,batch_size=32,epochs=5,validation_data=(x_val,y_val))

alguien sabe como solucionarlo?

model.fit(x_train,y_train,batch_size=32,epochs=5,validation_data=(x_val,y_val)) ```

# Me funciono de esta manera si a alguien le interesa
# idea grafica del modelo hasta ahora contruido
import keras
from keras.utils.vis_utils import plot_model
plot_model(modelo, to_file='modelo.png', show_shapes= True)

from keras.models import Sequential 
from keras.layers import Dense, Activation


modelo = Sequential()
modelo.add(Dense(13, input_dim=13, kernel_initializer = 'normal', activation = 'relu'))
modelo.add(Dense(6, kernel_initializer = 'normal', activation = 'relu'))
modelo.add(Dense(4, kernel_initializer = 'normal', activation = 'relu'))
modelo.add(Dense(1, kernel_initializer = 'normal'))

modelo.compile(loss='mean_squared_error', optimizer = 'adam', metrics= ['mean_absolute_percentage_error'])

from keras.utils import plot_model
plot_model(modelo, to_file = 'modelo.png', show_shapes=True)

X_val = X_train[300:,] 
Y_val = Y_train[300:,]
modelo.fit(X_train, Y_train, batch_size=32, epochs= 5, validation_data=(X_val, Y_val))

Entrenando nuestra primera red neuronal

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso