Curso de Decision Trees y Random Forest con Python y scikit-learn
Contenido del curso
¿Cómo evaluar un modelo de árbol de decisión?
frank hurtado
Estudiante
Layla Scheli
Profesor
Max Baldiviezo
Estudiante
Aaron Chacon Morales
EstudianteLayla Scheli
Profesor
Leandro Tenjo
EstudianteLayla Scheli
Profesor
Jose Martin Rangel Espinoza
EstudianteLayla Scheli
Profesor
Antonio Demarco Bonino
Estudiante
Julián Cárdenas
EstudianteLayla Scheli
Profesor
Carlos Orozco
Estudiante
Sebastián Franco
Estudiante
Mario Alexander Vargas Celis
EstudianteHola chicos! es muy importante que entendamos estas metricas, no solo para saber evaluar nuestros modelos de clasificacion, si no para hacerlo en funcion del modelo de negocio o de nuestro problema a resolver, al final las metricas son las que nos indican si el modelo tiene sentido con la realidad.
Un ejemplo muy util es saber evaluar el modelo de clasifiacacion con datos desbalanceados, donde podemos inducirnos al error por ver un accuracy de 90% y decimos eureca, y en la realidad no funciona nuestro modelo, pero porque?
Pues por que olvidamos ver la precision y el recall, para aterrizar mas esto podemos ver nuestro proyecto que cuenta con al rededor de 1700 datos en total y con 4 clases(unacc,acc,good,vgood) la clase unacc tiene 1210 datos, osea que arrastra el 70% de los datos, si evaluamos solo el accuracy podemos ver un modelo que llegue quizas al 80%, pero si evaluamos la precision y el recall para cada clase podriamos ver como la clase con mas datos tiene buenas metricas pero las demas no, enmascarando la supuesta generalizacion de nuestro modelo y exponiendo su mal performance quizas debido a las clases con menos datos. entonces ahi es donde comienza nuestro trabajo como Data scientist.
y tranquilos, si tienen dudas sobre esto o quieren dicutirlo, leo sus comentarios
saludos!
Gracias por tu aporte Frank :)
Gracias por el aporte!
Accuracy es la excactitud# Presicion de nuestro modelo
Recall // Sensibilidad entender la tasa de verdaderos positivos
Especificidad // nos hace entender la tasa de los verdaderos negativos
F1 resumen precisión y sensibilidad en una sola metrica.
Gracias Aaron, es correcto. Buen aporte :P
Me confundí un poco pero, tras consultar mejor, esto me ayudo.
Gracias Leandro :)
Hola ¿cómo podrías interpretar el valor del F1-Score? ¿conviene que sea un valor menor o mayor?
Hola Jose, mira este link :)
https://www.iartificial.net/precision-recall-f1-accuracy-en-clasificacion/
Y uno feliz aprendiendo de la medición de la clasificación:
Resumen visual de la clase:
Excelente :)
como se nota que la profe es de verdad docente / investigadora y no solo desarrollador de software como casi el resto de los profes. instruir al resto de los profes en pedagogía debería ser un requisito para subir un curso
Las métricas son el concepto clave para evaluar el desempeño de un modelo de ML, en este caso del árbol de decisión
Múltiples métricas nacen a partir de la matriz de confusión, este es un recurso que permite evaluar el desempeño de un algoritmo de aprendizaje supervisado. Cada columna representa el número de predicciones de cada clase y cada fila representa a las instancias en la clase real, es decir, permite ver para cada clase cuántos predicciones hubo y cuántas son ciertas
En una matriz de confusión hay 4 posibles valores:
Entonces True Positives y True Negatives son aciertos, mientras que False Positives y False Negatives son errores
A partir de la matriz de confusión podemos extraer diferentes métricas:
Una manera literal de entender cada métricas es:
Evaluar un modelo de árbol de decisión implica analizar qué tan bien predice sobre datos nuevos. Aquí tienes los pasos más importantes para hacerlo:
✅ 1. Dividir los datos
Antes de entrenar, debes separar tu dataset:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
✅ 2. Entrenar el modelo
from sklearn.tree import DecisionTreeClassifier
modelo = DecisionTreeClassifier(random_state=42) modelo.fit(X_train, y_train)
✅ 3. Realizar predicciones
y_pred = modelo.predict(X_test)
✅ 4. Evaluar el rendimiento
Usa métricas de clasificación:
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
print("Accuracy:", accuracy_score(y_test, y_pred)) print("\nMatriz de confusión:\n", confusion_matrix(y_test, y_pred)) print("\nReporte de clasificación:\n", classification_report(y_test, y_pred))
🔍 ¿Qué significan estas métricas?
MétricaSignificadoAccuracyPorcentaje de predicciones correctasPrecisión (precision)Qué tan precisas son las predicciones positivasRecall (sensibilidad)Qué tanto recupera el modelo de las clases verdaderasF1-scoreBalance entre precisión y recallConfusion MatrixMuestra predicciones correctas vs. incorrectas por clase
✅ 5. Importancia de variables (opcional)
Para saber qué variables son más útiles:
import pandas as pd
importancia = modelo.feature_importances_ print(pd.DataFrame({'Feature': feature_names, 'Importancia': importancia}))
✅ 6. Validación cruzada (opcional)
Para tener una mejor idea del rendimiento general:
from sklearn.model_selection import cross_val_score
scores = cross_val_score(modelo, X, y, cv=5) print("Accuracy promedio:", scores.mean())
