Evaluación de resultados del modelo de árbol de decisión

Si quieren implementar el F1-score lo pueden hacer así:

from sklearn.metrics import f1_score

train_f1_tree = f1_score(y_train, y_train_pred_tree, average='micro')
test_f1_tree = f1_score(y_test, y_test_pred_tree, average='micro')

print("El f1 score en train es: ", train_f1_tree)
print("El f1 score en test es: ", test_f1_tree)

Dado que se trata de un ejercicio de clasificación múltiple, hay que ajustar el parámetro average entre varios tipos. Más información se encuentra disponible en la documentación: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.f1_score.html#:~:text=The formula for the F1,more in the User Guide

Recuerden que para hacer la gráfica de feature_importances el código es:

#Verificamos el feature importances
import seaborn as sns

importances = tree.feature_importances_
columns = X.columns
data = pd.DataFrame([importances], columns=columns)
sns.barplot(data,
            palette = 'bright',
            saturation = 2.0,
            edgecolor = 'black',
            linewidth = 2)
plt.title('Importancia de cada feature')
plt.show()

Bien gente, paso a compartir mis resultados

EDA

Primero en el EDA cruce cada feature con el target

Insight

• Price: Los autos con precio bajo o medio tienen una mayor probabilidad de ser clasificados como vgood o good en comparación con los autos de precio alto.

• Doors: Los autos con 4 o más puertas tienen una mayor probabilidad de ser clasificados como vgood o good en comparación con los autos de 3 o 2 puertas.

• Lug_boot: Los autos con maletero grande o mediano tienen una mayor probabilidad de ser clasificados como vgood o good en comparación con los autos con maletero pequeño.

• Maint: Los autos con costos de mantenimiento bajos o medios tienen una mayor probabilidad de ser clasificados como vgood o good en comparación con los autos con costos de mantenimiento altos.

• Persons: Los autos con capacidad de 4 o más personas tienen una mayor probabilidad de ser clasificados como vgood o good en comparación con los autos con capacidad de menos de 4 personas.

• Safety: Los autos con alto nivel de seguridad tienen una mayor probabilidad de ser clasificados como vgood o good en comparación con los autos con bajo o medio nivel de seguridad.

Optimizacion de parametros use este grid

param_grid = {'criterion': ['gini', 'entropy'], 'max_depth': [2, 3, 4, 5]}

Quedo tal que asi los resultados

Mejores hiperparámetros encontrados:
{'criterion': 'gini', 'max_depth': 4}
Mejor puntuación de validación cruzada:
0.8676308539944904

Evaluacion del modelo

El accuracy en train es: 0.8420038535645472
El accuracy en test es: 0.8709677419354839

Relevancia de features

Grafico arbol de decision

Mi aporte para poder graficar la matríz de confusión:

from sklearn.metrics import ConfusionMatrixDisplay
disp = ConfusionMatrixDisplay.from_predictions(
    y_true=Y_train, # Y en train
    y_pred=Y_train_pred_DeciTree, # Y predicho en train.
    cmap=plt.cm.Blues,
    normalize=None,
)
disp.confusion_matrix

Obtener un resumen de las principlaes métricas

from sklearn.metrics import classification_report
target_names = Y_train.unique()
print(classification_report(Y_train, Y_train_pred_DeciTree, target_names=target_names))

Les dejo la representación del árbol hecho en la clase. Admito que es super sencillo de entender y hacer entender a otros.

from io import StringIO
from IPython.display import Image, display
from sklearn import tree as tr
import pydotplus

out = StringIO()
tr.export_graphviz(tree, out_file = out, feature_names=list(X.columns))

graph = pydotplus.graph_from_dot_data(out.getvalue())
graph.write_png('cars.png')

Me quedo igual, tal vez por la poca cantidad de datos no hubo cambios significativos.

La precision del modelo se mantiene igual

Reto:

Hola con XGBClassifier me da un accuracy de 0.98 y me resulta raro cual es mi error o es perfecta la prediccion ??
Adjunto codigo y comparacion de modelos

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

from sklearn.model_selection import train_test_split
import category_encoders as ce
from sklearn.tree import DecisionTreeClassifier

df = pd.read_csv('car_evaluation.csv')
col_names = ['buying', 'maint', 'doors', 'persons', 'lug_boot', 'safety', 'class']
df.columns = col_names

df['class'] = pd.factorize(df['class'])[0]

X = df.drop(['class'], axis=1)
y = df['class']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)

encoder = ce.OrdinalEncoder(cols=['buying', 'maint', 'doors', 'persons', 'lug_boot', 'safety'])
X_train = encoder.fit_transform(X_train)
X_test = encoder.transform(X_test)

tree = DecisionTreeClassifier(max_depth=2, random_state=0)
tree.fit(X_train, y_train)

y_train_pred_tree = tree.predict(X_train)
y_test_pred_tree = tree.predict(X_test)

from sklearn.metrics import accuracy_score
train_accuracy = accuracy_score(y_train, y_train_pred_tree)
test_accuracy = accuracy_score(y_test, y_test_pred_tree)
print('El accuracy en train es:', train_accuracy)
print('El accuracy en test es:', test_accuracy)

from xgboost import XGBClassifier
model = XGBClassifier()
model.fit(X_train, y_train)
y_train_pred_xgb = model.predict(X_train)
y_test_pred_xgb = model.predict(X_test)

train_accuracy_xgb = accuracy_score(y_train, y_train_pred_xgb)
test_accuracy_xgb = accuracy_score(y_test, y_test_pred_xgb)
print('El accuracy en train (XGBoost) es:', train_accuracy_xgb)
print('El accuracy en test (XGBoost) es:', test_accuracy_xgb)

El accuracy no es recomendable por el sesgo que hay en los datos si evaluamos las otras métricas encontramos el contraste:

# Cálculo de métricas
import sklearn.metrics as metrics

def metrics_model(y_test, y_pred):
    precision = metrics.precision_score(y_test, y_pred, average='macro')
    recall = metrics.recall_score(y_test, y_pred, average='macro')
    accuracy = metrics.accuracy_score(y_test, y_pred)
    print("Precision:", precision)
    print("Recall:", recall)
    print("Accuracy:", accuracy)

print("Metricas en Train")
metrics_model(y_train, y_train_pred_tree)
print("Metricas en Test")
metrics_model(y_test, y_test_pred_tree)

Metricas en Train
Precision: 0.3341661493896131
Recall: 0.31447751302431937
Accuracy: 0.7444168734491315
Metricas en Test
Precision: 0.3258999772157667
Recall: 0.3091268415379087
Accuracy: 0.7360308285163777

Entrenando el modelo nuevamente solo con persons y safety me salieron estos resultados:
El accuracy en train es: 0.7733664185277088
El accuracy en test es: 0.7591522157996147

Realizando el modelo con los dos features más importantes obtuve un accuracy bastante similar.
Entre el 75% y 78%

En estos casos sería bueno hacer un heatmap de la correlación entre las variables antes de hacer el modelo, de esta manera sería posible identificar y seleccionar las variables con más altas correlaciones y utilizarlas en el modelo. ¿Es esto correcto?

Reto:

Salieron los mismos resultados