Entrenamiento del modelo de clasificación binaria

En lugar de estar separando los datos pueden simplemente hacer esto en el fit y así ahorrarán tiempo

Nunca me gustó que al entrenar se genere mucho texto debajo, así que encontré esta barra de carga para entrenar modelos en keras.

Holi

Por si a alguien le interesa, también se puede determinar la precisión de modelo usando el cross validation :

Haciendo esto se puede observar que el score de entrenamiento y el score de prueba presentan un valor cercano a 1 por lo que no habría overfitting y el modelo estaría bien entrenado, sin embargo esto pasó porque use los valores x_train & y_train, cuando en realidad deberían de usarse los valores X ( la suma de x_train y y_train ) & y ( y_train + y_test), sin embargo cuando traté de usar esos valores la RAM de mi colab colapsó, quizas a ustedes si les resulte y puedan ver si en verdad hay overfitting como lo ha determinado el profesor en su ejemplo

Cross Entropy

Lo mas didáctico sería que para cada linea se escriba una breve explicación o tal vez una documentación bien explicita. Tal vez sacrificar un poco de buena practica comentando todas las líneas para que la clase sea mas didáctica. Se que es complicado explicar con precisión mientras se escribe código, pero sería bueno implementar alguna idea que explícitamente le diga al alumno que se está haciendo en caso de que quiera volver a alguna etapa del código que le cueste encajar.

Para ver cuáles son las funciones de optimizacion, perdida, activacion, etc, disponibles en keras, pueden usar las siguientes lineas de codigo.

from tensorflow.keras import (
    activations, optimizers, losses, metrics
)

new_dir = lambda func: list(filter(lambda x: False if x.startswith('_') else True,func.__dir__()))
new_dir(metrics)

No todos los elementos de las listas corresponden a una de esas funciones, pero la mayoría si.

También pueden imprimir el atributo doc para ver una breve descripción del mismo.

print(metrics.binary_accuracy.__doc__)

De todas formas es preferible utilizar strings en los argumentos de la red neuronal ya que, en ocasiones, los miembros de los módulos en keras pueden ser movidos a otros, haciendo que nuestro código no sea future-proof.

layers.Dense(16, activation='relu', input_shape= (10000,))
# ambos funcionan igual, pero el primero es preferible
layers.Dense(16, activation=activations.relu, input_shape= (10000,))

Hice el entrenamiento con 20 épocas y el overfitting es bastante claro desde esta perspectiva

Explicacion del overfitting de DotCSV muy bien explicado: https://www.youtube.com/watch?v=7-6X3DTt3R8

“overfitting”, es un fenómeno en el aprendizaje automático donde un modelo se ajusta demasiado bien a los datos de entrenamiento, capturando no solo los patrones reales presentes en los datos sino también el ruido o la aleatoriedad. Esto puede llevar a que el modelo tenga un rendimiento deficiente en datos nuevos o no vistos, ya que ha memorizado el conjunto de entrenamiento en lugar de aprender patrones generales.

Epoch 1/10
49/49 [==============================] - 3s 46ms/step - loss: 0.4534 - accuracy: 0.8171 - val_loss: 0.2897 - val_accuracy: 0.9005
Epoch 2/10
49/49 [==============================] - 1s 29ms/step - loss: 0.2674 - accuracy: 0.9043 - val_loss: 0.1995 - val_accuracy: 0.9378
Epoch 3/10
49/49 [==============================] - 1s 25ms/step - loss: 0.2088 - accuracy: 0.9248 - val_loss: 0.1625 - val_accuracy: 0.9495
Epoch 4/10
49/49 [==============================] - 1s 21ms/step - loss: 0.1760 - accuracy: 0.9373 - val_loss: 0.1349 - val_accuracy: 0.9601
Epoch 5/10
49/49 [==============================] - 1s 19ms/step - loss: 0.1536 - accuracy: 0.9469 - val_loss: 0.1163 - val_accuracy: 0.9667
Epoch 6/10
49/49 [==============================] - 1s 20ms/step - loss: 0.1317 - accuracy: 0.9546 - val_loss: 0.1021 - val_accuracy: 0.9714
Epoch 7/10
49/49 [==============================] - 1s 21ms/step - loss: 0.1155 - accuracy: 0.9612 - val_loss: 0.1488 - val_accuracy: 0.9379
Epoch 8/10
49/49 [==============================] - 1s 27ms/step - loss: 0.1054 - accuracy: 0.9650 - val_loss: 0.0763 - val_accuracy: 0.9805
Epoch 9/10
49/49 [==============================] - 1s 20ms/step - loss: 0.0882 - accuracy: 0.9714 - val_loss: 0.0768 - val_accuracy: 0.9773
Epoch 10/10
49/49 [==============================] - 1s 18ms/step - loss: 0.0807 - accuracy: 0.9754 - val_loss: 0.0666 - val_accuracy: 0.9822

Hemos creado una red neuronal, biennn, hemos caido en el overfitting, vale, hemos hecho un monton de cosas, pero sinceramente, alguien me puede decir que es lo que estamos intentando conseguir, me quede en la parte en la que habia un listado con muchas listas que tenian palabras y se expresaban en numeros, y de ahi, que si red, que si train, que si test, que si accuraccy, pero, para conseguir que???..