Evaluando tu modelo

80% Entrenamiento.
10% Validación.
10% Prueba.

• Puntuación límite: indica el nivel de confianza que debe tener el modelo para asignar una categoría.

¿Que involucra tener una puntuación limita baja? Clasificará más imágenes, pero corre el riesgo de clasificarlas incorrectamente.
Posibles resultados:
Verdadero positivo.
Falso positivo.
Verdadero negativo.
Falso negativo.

• Precisión: es el número de ejemplos de prueba que recibió una etiqueta y si debería de haberlos recibido.

• Retiros: de todos los ejemplos a los que se le debería de asignar una etiqueta, cuántos en realidad la recibieron.

¿Cuando optimizar para precisión?
Una galería que permite a los usuarios encontrar las imágenes más relevantes a partir de una búsqueda. Un falso positivo regresaría una imagen irrelevante.

¿Cuando optimizar para retiros?
Un sistema que esconde información sensible de tarjetas de crédito. Un falso positivo es algo que no necesita ser escondido, pero no impacta el objetivo del sistema. Es mejor esconder de más.

• Los datos se dividen de la siguiente forma: 80% para entrenamiento, 10% para validación, 10% para pruebas.
• El set de datos debe ser lo más grande posible para obtener buenos resultados.
• Puntuación limite: Indica el nivel de confianza que debe tener el modelo para asignar una categoría. Podemos cambiar este limite.
• Los resultados de la predicción se pueden representar en una matriz de confusión: https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html#sphx-glr-auto-examples-model-selection-plot-confusion-matrix-py

Gracias por la información.

Debo admitir que las primeras no me gustaron para nada, ya que se muy poco de frontend (tarea pendiente). Pero ahora que vamos viendo las herramientas de Google me parece bastante interesante este curso.

Dato clave 1: cuando implementamos la matriz de confusión debemos asegurarnos siempre que la diagonal principal tenga valores altos (ej: x > 60 %)

Hay alguna versión para hacerlo más despacio? es que resulta en páginas que no se sabe de dónde las sacó.

MATRIZ DE CONFUSIÓN