Curso de Decision Trees y Random Forest con Python y scikit-learn
Contenido del curso
¿Cómo funcionan los árboles de decisión?
Jhon Sebastian Alegria Ausecha
Estudiante
Gonzalo Ceron Denetro
Estudiante
Layla Scheli
Profesor
Alfredo Olmedo
EstudianteLayla Scheli
Profesor
Santiago García Rincón
EstudianteLayla Scheli
ProfesorAlfredo Olmedo
Estudiante
Antonio Demarco Bonino
Estudiante
Diego Mauricio Zuluaga Rodríguez
EstudianteDiego Mauricio Zuluaga Rodríguez
Estudiante
Sebastián Franco
Estudiante
Mario Alexander Vargas Celis
EstudianteEn este sitio también podemos encontrar información adicional: Decisions Trees: https://www.geeksforgeeks.org/decision-tree/
Los arboles de decisión son una estructura de datos formada por nodos, cada nodo representa una decisión.
Para construir un modelo de ML con arboles de decisión, cada feature va a representar un nodo. La forma en que se elige el orden del feature para los nodos, es que se elige la variable que mejor separa los datos.
Hay diferentes métricas para eso:
Métrica Gini: Mide la impureza de los divisiones. Mide que tan mezcladas están las clases. Queremos que este valor sea bajo.
-p: Es la proporción que tenemos de cada clase.
Métrica Entropía
Basada en la teoría de la información, busca reducir la incertidumbre de la información.
Ganancia:
Nos permite medir la capacidad para reducir la impureza o incertidumbre.
-D: el subconjunto de datos resultante de la división
El proceso para construir un árbol:
1.- Todos los features entran al nodo raíz y se calcula Gini.
2.- Con cada feature se prueban las divisiones posibles, y para cada feature se calcula el gini.
3.- Se calcula la ganancia para cada feature. El feature con mayor ganancia se selecciona para dividir el nodo, pues es el que mejor separa los datos.
4.- Para los siguientes nodo se repite el proceso recursivamente.
Este video les puede ayudar a profundizar:
Gracias Gonzalo, por la informacion :)
Muy claro!, excelente explicacion. y para quienes venimos de Desarrollo de Software las estructuras de datos en especial los Arboles tienen una relacion directa con los arboles de desiciones.
Las estructuras de datos y los árboles de decisión en machine learning (ML) tienen una relación directa y significativa, especialmente para aquellos que provienen del desarrollo de software. Aquí te explico un poco más:
Relación directa:
Gracias Alfredo, buen resumen :)
Hace falta más rigurosidad en muchas cosas. Siento que es mejor dar más clase teórica. :)
Gracias Santiago, te tomamos el feedback :) Saludos!
Te faltan fundamentos, te invito a que profundices mas en Estructuras de datos y algoritmos en desarrollo de software, es un tema que es complejo, pero que es vital y vos podes, asi que a darle
Para que sea más claro:
¿Cuándo debo detener el crecimiento del árbol?
Debes detenerlo justo antes de que empiece a memorizar el ruido de tus datos. En la práctica, esto se logra configurando los hiperparámetros del modelo antes de entrenarlo. Por ejemplo, puedes usar max_depth en scikit-learn para decirle al árbol: "no crezcas más allá de 5 niveles de preguntas". Otra estrategia excelente es usar min_samples_split, que le indica al algoritmo que solo divida un nodo si tiene al menos cierta cantidad de datos (digamos, 20 registros). Si un nodo tiene menos de eso, se convierte automáticamente en una hoja final. Encontrar el punto exacto de detención requiere experimentación y validación cruzada, buscando siempre el equilibrio donde el modelo tenga un buen rendimiento tanto en los datos de entrenamiento como en los datos de prueba que nunca ha visto.
¿Cómo decide el árbol dónde dividirse?
Imagina que estás jugando a "Adivina quién". Tu objetivo es hacer la pregunta que elimine a la mayor cantidad de personajes de un solo golpe, como "¿Tu personaje usa sombrero?". Un árbol de decisión hace exactamente lo mismo usando matemáticas. Evalúa todas las características disponibles en tus datos y calcula cuál de ellas separa mejor las clases (por ejemplo, compradores vs. no compradores). Para lograr esto, utiliza métricas como la Impureza de Gini o la Entropía, que básicamente miden el "desorden" en los datos. El algoritmo probará diferentes puntos de corte (como "edad > 30") y elegirá aquel que resulte en los grupos más puros o limpios posibles. Este proceso de hacer preguntas y dividir los datos se repite en cada nodo hasta llegar a una conclusión final o "hoja".
Este es un ejemplo de árbol de decisión
A la pregunta ¿Debería aceptar una nueva propuesta laboral? el árbol actuará de la siguiente forma
La primer pregunta será el salario, si es menor a 50.000$ se declina, si es mayor se pasa a la siguiente pregunta qué es si el tiempo de transporte es de 1 hora o más, si es cierto, se vuelve a declinar, finalmente, si el tiempo es menor, se evalúa si se entrega café gratis y allí se toma la decisión final
Cada decisión final es un nodo hoja, cada bifurcación es un nodo de decisión y la pregunta inicial es el nodo raíz
En un contexto un poco más técnico se puede decir que cada nodo bifurca gracias a una variable, es decir, en un contexto de Machine Learning, tendríamos en nuestro eje X los valores de salario, el tiempo de desplazamiento (en horas) y el café gratis como booleano
Esta es la terminología clave en los árboles de decisión
Los árboles de decisión son algoritmos de aprendizaje supervisado que se utilizan para clasificación o regresión. Funcionan dividiendo los datos en ramas basadas en preguntas simples sobre las características (features), hasta llegar a una predicción.
🌳 ¿Cómo funciona un árbol de decisión?
🧠 Ejemplo simple (Clasificación):
¿Sobrevivió una persona en el Titanic? Variables:
El árbol podría hacer:
⚙️ Criterios de división comunes:
sklearn): mide impureza✅ Ventajas:
❌ Desventajas: