Evaluando métricas de desempeño

Clase 15 de 22 • Curso de Redes Neuronales en Keras y Scikit-Learn 2019

Xavier Medina Veintimilla

student•

Like si se te reinició Google Colab porque agotaste toda la RAM disponible.

rusbel bermúdez rivera

student•

Hay que guardar el notebook del profesor, anteriormente Collab te daba mas ram cuando te la terminabas primero 32gb, luego 25gb, ahora hay que pagar la suscripción (hay_tabla.png), pero si tienes un notebook antiguo con alguna de esas asignaciones de ram (como el de la clase, no debería haber ningún problema)

María José Medina

student•

Para prevenir el reinicio del colab por falta de RAM lo que hice fue exportar el dataframe y agregarlo a un nuevo notebook.

Dejo el código por si a alguien más le interesa

#preparacion del df con las variables consolidadas
mi_consolidado = consolidado.copy(deep=True)

def OneHotEncoding_df(df, columna):
  OHE_df = pd.get_dummies(columna+'_'+df[columna])
  return OHE_df
objects_list = list(types[types.values == 'object'].index)

#Se realiza OHE para cada categoría
for category in objects_list:
  mask = OneHotEncoding_df(mi_consolidado, category)
  print(f'column {category} transformed!')
  mi_consolidado.drop(category, axis=1, inplace=True)
  mi_consolidado = pd.concat([mi_consolidado, mask], axis=1)

# exportar modelo
mi_consolidado.to_pickle('variables_consolidadas.pkl')

En el nuevo notebook hice la división de datos de entrenamiento y prueba de esta manera:

variables_consolidadas = pd.read_pickle('variables_consolidadas.pkl')
objetivo = variables_consolidadas['outcome']
variables_consolidadas.drop('outcome', axis=1, inplace=True)

ya despues de aqui todo es igual al notebook de la clase.

from sklearn.model_selection import train_test_split
# Entrenamiento y prueba con relación 80:20
x_train, x_test, y_train, y_test = train_test_split(variables_consolidadas,objetivo, test_size=0.2,random_state=2020)
# Entrenamiento y validación con relación 90:10
x_train, x_val, y_train, y_val = train_test_split(x_train,y_train, test_size=0.1, random_state=2020)

print("Shape of x_train:",x_train.shape)
print("Shape of x_test:",x_test.shape)
print("Shape of x_val:",x_val.shape)
print("Shape of y_train:",y_train.shape)
print("Shape of y_test:",y_test.shape)
print("Shape of y_val:",y_val.shape)

Diego Fernando Charfuelan Burbano

student•

La columna people_id no debería ser considerada en el entrenamiento o aprendizaje de la red neuronal. No aporta información para generalizar a los clientes

Andrés Lancheros

student•

Hola Diego, creo que si debería incluirse la variable people_id ya que varias actividades pertenecen a una persona y este conjunto de datos determina el comportamiento de cada persona.

Rodrigo Urquizo Yepez

student•

En vez de hacer model.add() tambien se puede hacer: model = Sequential([Capa 1, Capa 2, etc])

Alberto Perdomo

student•

Porqué se elige 256 neuronas de entrada y no 177? Este tipo de aproximación lo he visto en otras arquitecturas fully conected, pero no me queda claro la razón.

Gersonrpq

student•

Hola Perdomo!

Es porque en la capa de entrada, se ajustan las neuronas a la potencia de dos mas cercana. Por ejemplo 2^7 = 128 (queda por debajo de 177) 2^8 = 256 (queda por arriba de 177 por lo que es perfecto)

Alberto Perdomo

student•

Gracias por la explicación

rusbel bermúdez rivera

student•

En mi caso para graficar tuve que guardar el entrenamiento del modelo como una variable, dejo las ultimas partes de mi notebook

# Volvemosa utilizar el modelo anterior sustituyendo los dataframes
model = Sequential()
model.add(Dense(512,input_dim = x_train_scaled.shape[1],activation="relu"))
model.add(Dense(512,activation="relu"))
model.add(Dense(256,activation="relu"))
model.add(Dense(1,activation = "sigmoid"))
model.compile(optimizer = "Adam",loss="binary_crossentropy",metrics=["accuracy"])
#guardar modelo en una variable para acceder al diccionario de valores
history = model.fit(x_train_scaled,y_train, validation_data = (x_val_scaled,y_val),epochs=12, batch_size=128)

Grafica

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(13,6))
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title("Pérdidas del modelo con set de entrenamiento y pruebas por época")
plt.ylabel('Pérdidas')
plt.xlabel('Épocas')
plt.legend(['Entrenamiento', 'Validación'], loc='upper right')
plt.show()

![](

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(13,6))
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title("Pérdidas del modelo con set de entrenamiento y pruebas por época")
plt.ylabel('Pérdidas')
plt.xlabel('Épocas')
plt.legend(['Entrenamiento', 'Validación'], loc='upper right')
plt.show()

![](

jose zuñiga

student•

Gracias por tu aporte, me sirvió. Solo una apreciación, la segunda grafica corresponde al accuracy, no a la función de perdida, hay que cambiar un par de líneas de código.

plt.plot(history.history['acc'])
plt.plot(history.history['val_acc'])```

rusbel bermúdez rivera

student•

mea culpa, gracias por la observacion @jzuniga123 me equivoque al pegar por cierto para encontrar las llaves loss y val_loss tuve que usar la opcion dir(history) donde history es la variable que guarda la informacion, segun veo en ejemplos de versiones anteriores de sklearn no era necesario guardarlo para acceder a esos valores, deje las notas del curso al principio de cada modulo y el repo tambien tiene los notebooks

Jorge Sebastian Alvarez Herrera

student•

Se repite el vídeo .-.

Gabriel De Andrade

student•

Hola! Ya la clase está con el contenido correcto, muchas gracias por el reporte :D

Pablo Antonio González Robles

student•

Falta el vídeo de este tema. Se repite. Parece que sólo el departamento de ventas trabaja en esta empresa

Gabriel De Andrade

student•

Hola! Ya la clase está con el contenido correcto, muchas gracias por el reporte :D

Kevin Naranjo

student•

te sientes robado?

FELIX DAVID CORDOVA GARCIA

student•

Antes de simplemente escribir la red nuronal se debio de hacer un feature_selection con:

datafame_total.corr()[“outcome”].abs().sort_values()

con esto se encuentra las correlaciones que existen entre los distintos features ( mientras mas cerca a 0 menos influyen y se deben de descartar) ,aqui se observa que almenos 10 features de estan en vano y se deben eliminar para aligerar el modelo

Nicolás Rosero Eraso

student•

Justo antes de terminar la primera epoch me salta este error: ValueError: Data cardinality is ambiguous: x sizes: 439459 y sizes: 175784 Make sure all arrays contain the same number of samples. El tamaño de los conjuntos y la arquitectura son iguales a los del video, no se como solucionarlo.

Marcelo Sánchez

student•

En mi caso usé la potencia de mi PC y no la Colab, debo decir que me tardo como 2 hs en completar todo los modelos :)

Rodrigo Urquizo Yepez

student•

Recordemos que binary cross entropy o log function es la misma funcion de perdida que se usa para la regresion logistica, ya que nuestra ultima neurona(output) usa la funcion sigmoide como funcion de activacion.

Nicolás Rosero Eraso

student•

Cuando se completa la primera epoca me bota el siguiente error: ValueError: Data cardinality is ambiguous: x sizes: 439459 y sizes: 175784 Make sure all arrays contain the same number of samples. El tamaño de los conjuntos es el siguiente: x_train: (1582048, 177) y_train: (1582048,) x_test: (439459, 177) y_test: (439459,) x_val: (1582048, 177) y_val: (1582048,)

Alguien sabe como solucionarlo?

JAVIER SANTIAGO SALGADO

student•

Me demore por el computo tres horas en este video jajajaja

#preparacion del df con las variables consolidadas
mi_consolidado = consolidado.copy(deep=True)

def OneHotEncoding_df(df, columna):
  OHE_df = pd.get_dummies(columna+'_'+df[columna])
  return OHE_df
objects_list = list(types[types.values == 'object'].index)

#Se realiza OHE para cada categoría
for category in objects_list:
  mask = OneHotEncoding_df(mi_consolidado, category)
  print(f'column {category} transformed!')
  mi_consolidado.drop(category, axis=1, inplace=True)
  mi_consolidado = pd.concat([mi_consolidado, mask], axis=1)

# exportar modelo
mi_consolidado.to_pickle('variables_consolidadas.pkl')

from sklearn.model_selection import train_test_split
# Entrenamiento y prueba con relación 80:20
x_train, x_test, y_train, y_test = train_test_split(variables_consolidadas,objetivo, test_size=0.2,random_state=2020)
# Entrenamiento y validación con relación 90:10
x_train, x_val, y_train, y_val = train_test_split(x_train,y_train, test_size=0.1, random_state=2020)

print("Shape of x_train:",x_train.shape)
print("Shape of x_test:",x_test.shape)
print("Shape of x_val:",x_val.shape)
print("Shape of y_train:",y_train.shape)
print("Shape of y_test:",y_test.shape)
print("Shape of y_val:",y_val.shape)

# Volvemosa utilizar el modelo anterior sustituyendo los dataframes
model = Sequential()
model.add(Dense(512,input_dim = x_train_scaled.shape[1],activation="relu"))
model.add(Dense(512,activation="relu"))
model.add(Dense(256,activation="relu"))
model.add(Dense(1,activation = "sigmoid"))
model.compile(optimizer = "Adam",loss="binary_crossentropy",metrics=["accuracy"])
#guardar modelo en una variable para acceder al diccionario de valores
history = model.fit(x_train_scaled,y_train, validation_data = (x_val_scaled,y_val),epochs=12, batch_size=128)

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(13,6))
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title("Pérdidas del modelo con set de entrenamiento y pruebas por época")
plt.ylabel('Pérdidas')
plt.xlabel('Épocas')
plt.legend(['Entrenamiento', 'Validación'], loc='upper right')
plt.show()

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(13,6))
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title("Pérdidas del modelo con set de entrenamiento y pruebas por época")
plt.ylabel('Pérdidas')
plt.xlabel('Épocas')
plt.legend(['Entrenamiento', 'Validación'], loc='upper right')
plt.show()

Evaluando métricas de desempeño

Apropiar conceptos fundamentales de las redes neuronales

¿Qué es una red neuronal?

Identificar los principales Frameworks usados en la industria para el desarrollo de Deep Learning

Frameworks de Deep Learning

Comprender los modelos de representación de las redes neuronales artificiales usados en Deep Learning

Estructura de redes neuronales

Creando nuestra primer red neuronal

Entrenando nuestra primera red neuronal

Visualizando el proceso de entrenamiento

Funciones de activación

Funciones de costo o pérdidas

Inicialización y Entrenamiento de RN

Optimizadores en redes neuronales

Clasificación Binaria

Clasificación de potenciales clientes

Análisis de resultados

Métricas de desempeño: regresión y clasificación

Evaluando métricas de desempeño

Ajuste de redes neuronales: overfitting y regularización

Regularización

Ajuste de redes neuronales: Hiper parámetros

Crear un modelo de regresión a partir de un caso de uso real

Introducción a las regresiones con Deep Learning: Planteamiento del problema

Solución del problema de regresión

Ajustes finales al proyecto

Cierre del curso

Cierre del curso