Clase 6 de 23 • Curso de Decision Trees y Random Forest con Python y scikit-learn
Contenido del curso
Eugenio Schiavoni
Juan José Mamani Tarqui
Mauricio Combariza
Layla Scheli
Luis Ernesto Domínguez Velásquez
Luis Ernesto Domínguez Velásquez
Paolo Joaquin Pinto Perez
Julián Cárdenas
Joaquín Ricardo Svoboda Abregú
Layla Scheli
Alexander Argandoña Mamani
Layla Scheli
Alfredo Olmedo
Raimundo Sieso
Layla Scheli
Gerardo Jesus Ignacio Villacorta
Gerardo Jesus Ignacio Villacorta
Sebastián Franco
Mario Alexander Vargas Celis
Vicente de Jesus Rodriguez Cuellar
Vicente de Jesus Rodriguez Cuellar
Rodrigo Martinez
Iván Ozono
Daniel Andres Rojas Paredes
Antonio Demarco Bonino
Hola Platzinautas, les recomiendo que investiguen XGBoost un modelo regresor muy poderoso, en este ejemplo en particular obtuvo mejor desempeño que el recomendado con un accuracy un 10% superior, les comparto el código con los dos modelos para que comparen, por otro lado los valores del XGBoost están por defecto, se le pueden configurar y setear como los estimators, y mejorar aun mas.
from sklearn.datasets import load_digits import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.linear_model import LogisticRegression from imblearn.under_sampling import RandomUnderSampler from sklearn.model_selection import GridSearchCV from sklearn.model_selection import train_test_split df = pd.read_csv('titanic.csv') df.drop(['Name', 'Fare'], axis=1, inplace=True) df.columns = ['Survived', 'Pclass', 'Sex', 'Age', 'SibSp', 'Parch'] df = pd.get_dummies(df, columns=['Sex'], drop_first=True) df.rename(columns ={'Sex_male': 'Sex'}, inplace=True) X = df.drop('Survived', axis=1) y= df['Survived'] X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.25, random_state=0) from sklearn.tree import DecisionTreeClassifier tree = DecisionTreeClassifier(max_depth=2, random_state=0) tree.fit(X_train,y_train) y_train_pred = tree.predict(X_train) y_test_pred = tree.predict(X_test) from xgboost import XGBRegressor from sklearn.metrics import accuracy_score model = XGBRegressor() model.fit(X_train,y_train) y_train_pre = model.predict(X_train) y_test_pre = model.predict(X_test) from sklearn.metrics import mean_squared_error mse_train = mean_squared_error(y_train, y_train_pre) mse_test = mean_squared_error(y_test, y_test_pre) inverted_mse_train = 1 -mse_train inverted_mse_test = 1 -mse_test print("Inverted MSE (Train):", inverted_mse_train) print("Inverted MSE (Test):", inverted_mse_test) train_accuracy = accuracy_score(y_train, y_train_pred) test_accuracy = accuracy_score(y_test, y_test_pred) print(X_train) print('El accuracy en train es: ', train_accuracy) print('El accuracy en test es: ', test_accuracy) importances = tree.feature_importances_ columns = X.columns data = pd.DataFrame([importances], columns=columns) sns.barplot(data, palette='bright', saturation=2.0, linewidth=2) plt.show()
<u>Caracteristicas XGBoost:</u>
XGBoost, que significa "eXtreme Gradient Boosting", es una biblioteca de código abierto y eficiente para implementar algoritmos de boosting en árboles. Es especialmente popular en competiciones de ciencia de datos y aprendizaje automático debido a su rendimiento y capacidad para manejar conjuntos de datos grandes y complejos.
Aquí hay algunas características clave de XGBoost:
Para utilizar XGBoost en Python, por ejemplo, puedes instalar la biblioteca usando pip:
bash codepip install xgboost
Luego, puedes importar y usar la biblioteca en tu código de la siguiente manera:
pythonCopy codeimport xgboost as xgb
# Crear un clasificador XGBoost
model = xgb.XGBClassifier(objective="binary:logistic", random_state=42)
# Entrenar el modelo
model.fit(X_train, y_train)
# Hacer predicciones
predictions = model.predict(X_test)
Este es solo un ejemplo básico, y XGBoost también se puede utilizar para problemas de regresión y otros escenarios. Además, puedes ajustar muchos hiperparámetros para optimizar el rendimiento del modelo en tu conjunto de datos específico.
Al ser de lista blanca, me parece muy interesante su uso en la agricultura, como un método de aprendizaje de las diferentes decisiones tomadas en las etapas de siembra y cosecha.
Gracias por tu aporte Mauricio :)
Se puede aplicar en el proceso de evaluación del cliente para determinar si es factible o no otorgar un crédito a un potencial cliente en base a datos cuantitativo y cualitativo del cliente.
Ventajas :D
Si hablamos de los arboles decisicion necesitamos saber que: Fuente:
Ventajas
Desventajas
Los aprendices pueden crear árboles demasiado complejos que no generalizan bien los datos. Esto se llama sobreajuste.
Pueden ser inestables porque pequeñas variaciones en datos pueden generar un árbol completamente diferente. Este problema se mitiga mediante el uso de árboles de decisión dentro de un conjunto.
Las predicciones de los árboles de decisión no son uniformes ni continuas, sino aproximaciones constantes por partes, como se ve en la figura anterior. Por lo tanto, no son buenos para la extrapolación.
Dichos algoritmos no pueden garantizar la devolución del árbol de decisión globalmente óptimo. Esto se puede mitigar entrenando varios árboles en un alumno de conjunto, donde las características y las muestras se muestrean aleatoriamente con reemplazo.
Hay conceptos que son difíciles de aprender porque los árboles de decisión no los expresan fácilmente, como XOR, problemas de paridad o multiplexor.
Los aprendices crean árboles sesgados si dominan algunas clases. Por lo tanto, se recomienda equilibrar el conjunto de datos antes de ajustarlo al árbol de decisión.
Buen summary!!
Ventajas:
Desventajas:
¿Cuando usar arboles de decision?
Muy bueno :)
¿que modelo seria el mas adecuado para predecir resultados electorales?
Hola Alex! hay muchos realmente. Depende de lo que busques, si es un candidato, una clasificacion! podria ir bien :)
árbol de decisión se pueden aplicar en una variedad de campos:
Finanzas:
Hace poco hice un proyecto de estilometría, es decir, distinguir diversos estilos de escritura de distintos autores. Probé varios algoritmos, entre ellos árboles de decisión. Aunque los árboles de decisión tenían peor desempeño que otros modelos, daban resultados muy interpretables y útiles. ¡ Y muy interesantes! Por ejemplo, la relación entre comas y puntos en el texto era fundamental (frases largas o cortas). Hay autores que solo usan "fuera", otros solo usan "fuese" y otros, según su procedencia, nunca usan el pasado de subjuntivo.
Es decir, estos algoritmos son muy útiles no solo para construir modelos, también para entender internamente cómo está relacionado un conjunto de datos.
Gracias Raimundo por compartir, interesante tu aporte. Enhorabuena :)
¿Qué pasa si hay valores atípicos?
Los árboles de decisión son increíblemente robustos frente a los valores atípicos (outliers). Como el algoritmo funciona haciendo divisiones basadas en umbrales (por ejemplo, '¿la edad es mayor a 50?'), un valor extremo simplemente caerá en la misma rama que el resto de los valores que cumplen la condición. No sesgará la predicción general ni alterará la pendiente del modelo, a diferencia de lo que ocurre en algoritmos basados en distancias o regresiones.
Para los que están en el sector banca, este este tipo de algoritmo es un buen punto de partida para construir modelos de ML para la detección de fraude en compras por internet.
Los árboles de decisión son algoritmos de caja blanca, es decir, se puede hacer seguimiento a los patrones que están aprendiendo internamente (y más importante, entenderlos), los resultados son sencillos de interpretar y entender y todas sus productos derivados (como random forest) heredan estas características
En una nota negativa, estos algoritmos tienden a sufrir de overfitting fácilmente, además se ven influenciados por outliers, gracias a estos factores, árboles de mucha complejidad pueden no adaptarse correctamente a nuevos conjuntos de datos y tienden a sesgarse si hay imbalance de clases
Los árboles de decisión son especialmente útiles porque son sencillos de entender e interpretar, funcionan bien en grandes volúmenes de datos, son medianamente robustos (soportan un buen nivel de generalización). Una nota clave es que solo son usables para tareas de clasificación y regresión
Debes considerar usar árboles de decisión cuando:
✅ 1. Quieres interpretabilidad
✅ 2. Tus datos incluyen variables categóricas y numéricas
✅ 3. Tienes relaciones no lineales
✅ 4. Quieres saber qué variables son más importantes
✅ 5. Los datos tienen valores faltantes o están mal escalados
✅ 6. Tu problema es de clasificación o regresión
❌ ¿Cuándo evitar árboles de decisión?
📌 En resumen:
Usa árboles de decisión cuando necesitas un modelo rápido, interpretable y versátil, especialmente en las primeras etapas del análisis o cuando el entendimiento del modelo es prioritario.
tengo una duda con respecto a los outliers, se comenta que los arboles de decision son robustos a los outliers ya que a la hora de crear nodos estos no toman en cuenta los valores absolutos y me parece que esto es verdad cuando estamos resolviendo un problema de clasificacion (Y es categorica) y alguna X es continua, asi que los nodos se construyen basandose en una variable categorica, en este caso los outliers en X no deberian de afectar al resultado, sin embargo cuando la variable Y es continua (un problema de regresion) y esta contiene algun outlier entonces el modelo si se puede ver afectado ya que tratara de calcular la media para generar la respuesta en el nodo hoja
Por ejemplo cuando una X es continua con outliers, por ejemplo la edad: [12, 11, 14, 15, 67], 67 es un outlier, sin embargo a la hora de usar la edad para crear nodos, el arbol de decicion puede generar algo como:
si edad > 14: ir al nodo izquierdo si no: ir al nodo derecho o si edad >= 15: ir al nodo izquierdo si no: ir al nodo derecho
por lo que realmente el outlier no esta afectando a la creacion de nuevos nodos. Me gustaria saber si este razonamiento es correcto o me estoy olvidando de algun detalle de como funcionan los arboles de decision
Al momento de clasificar podemos colocar un limite de cuantas filas vamos a hacer split y efectivamente al hacer este split en tus datos queda el outlier, para estos casos se tienen diferentes opciones de como capturar el outlier, primero podemos aumentar cuantos splits hacemos asi capturamos de mejor manera estos datos atipicos, ademas que generalizan mejor con mas columnas y lo otro seria eliminar este dato o dejarlo clippeado al percentil 99 o 0 para capturar ese tipo de dato y el modelo aprenda que un valor por encima o por debajo de estos datos no es de mucha importancia, en ejemplos de prediccion de efermedades, una presion arterial en el percentil 99 de 180 es lo mismo que 250, ya que ambos tienen presiones muy altas, en cambio cuando manejamos detecciones de fallas o valores extremos hay modelos y ensambles mas robustos que manejan este tipo de logica.
¿Cuándo usar árboles de decisión?
✅ Si necesitas interpretabilidad y explicaciones claras.
✅ Si los datos tienen relaciones simples y no lineales.
✅ Si tienes un dataset pequeño a mediano y quieres resultados rápidos.
✅ Si es una tarea de clasificación sencilla.
✅ Si estás construyendo un prototipo inicial o como base para modelos más complejos.
❗ No son la mejor opción si…
Cuando un dataset tiene muchas variables categóricas en comparación con las numéricas, los árboles de decisión pueden manejar ambas de forma efectiva, pero la calidad del modelo puede verse afectada. Las variables categóricas pueden convertirse en múltiples ramas, aumentando la complejidad del árbol.
Los árboles de decisión también pueden ser binarios, incluso si las variables categóricas tienen más de dos valores. En este caso, se pueden aplicar técnicas como la codificación one-hot para representar estas variables y facilitar su uso en el modelo. Recuerda que la selección de variables y la optimización del modelo son cruciales para obtener buenos resultados.
Casos prácticos comunes:
Cuando no usar árboles de decisión:
