Curso de Decision Trees y Random Forest con Python y scikit-learn
Contenido del curso
¿Cómo funcionan los árboles de decisión?
Jhon Sebastian Alegria Ausecha
Estudiante
Gonzalo Ceron Denetro
Estudiante
Layla Scheli
Profesor
Alfredo Olmedo
EstudianteLayla Scheli
Profesor
Santiago García Rincón
EstudianteLayla Scheli
ProfesorAlfredo Olmedo
Estudiante
Antonio Demarco Bonino
Estudiante
Sebastián Franco
Estudiante
Mario Alexander Vargas Celis
EstudianteEn este sitio también podemos encontrar información adicional: Decisions Trees: https://www.geeksforgeeks.org/decision-tree/
Los arboles de decisión son una estructura de datos formada por nodos, cada nodo representa una decisión.
Para construir un modelo de ML con arboles de decisión, cada feature va a representar un nodo. La forma en que se elige el orden del feature para los nodos, es que se elige la variable que mejor separa los datos.
Hay diferentes métricas para eso:
Métrica Gini: Mide la impureza de los divisiones. Mide que tan mezcladas están las clases. Queremos que este valor sea bajo.
-p: Es la proporción que tenemos de cada clase.
Métrica Entropía
Basada en la teoría de la información, busca reducir la incertidumbre de la información.
Ganancia:
Nos permite medir la capacidad para reducir la impureza o incertidumbre.
-D: el subconjunto de datos resultante de la división
El proceso para construir un árbol:
1.- Todos los features entran al nodo raíz y se calcula Gini.
2.- Con cada feature se prueban las divisiones posibles, y para cada feature se calcula el gini.
3.- Se calcula la ganancia para cada feature. El feature con mayor ganancia se selecciona para dividir el nodo, pues es el que mejor separa los datos.
4.- Para los siguientes nodo se repite el proceso recursivamente.
Este video les puede ayudar a profundizar:
Gracias Gonzalo, por la informacion :)
Muy claro!, excelente explicacion. y para quienes venimos de Desarrollo de Software las estructuras de datos en especial los Arboles tienen una relacion directa con los arboles de desiciones.
Las estructuras de datos y los árboles de decisión en machine learning (ML) tienen una relación directa y significativa, especialmente para aquellos que provienen del desarrollo de software. Aquí te explico un poco más:
Relación directa:
Gracias Alfredo, buen resumen :)
Hace falta más rigurosidad en muchas cosas. Siento que es mejor dar más clase teórica. :)
Gracias Santiago, te tomamos el feedback :) Saludos!
Te faltan fundamentos, te invito a que profundices mas en Estructuras de datos y algoritmos en desarrollo de software, es un tema que es complejo, pero que es vital y vos podes, asi que a darle
Para que sea más claro:
Este es un ejemplo de árbol de decisión
A la pregunta ¿Debería aceptar una nueva propuesta laboral? el árbol actuará de la siguiente forma
La primer pregunta será el salario, si es menor a 50.000$ se declina, si es mayor se pasa a la siguiente pregunta qué es si el tiempo de transporte es de 1 hora o más, si es cierto, se vuelve a declinar, finalmente, si el tiempo es menor, se evalúa si se entrega café gratis y allí se toma la decisión final
Cada decisión final es un nodo hoja, cada bifurcación es un nodo de decisión y la pregunta inicial es el nodo raíz
En un contexto un poco más técnico se puede decir que cada nodo bifurca gracias a una variable, es decir, en un contexto de Machine Learning, tendríamos en nuestro eje X los valores de salario, el tiempo de desplazamiento (en horas) y el café gratis como booleano
Esta es la terminología clave en los árboles de decisión
Los árboles de decisión son algoritmos de aprendizaje supervisado que se utilizan para clasificación o regresión. Funcionan dividiendo los datos en ramas basadas en preguntas simples sobre las características (features), hasta llegar a una predicción.
🌳 ¿Cómo funciona un árbol de decisión?
🧠 Ejemplo simple (Clasificación):
¿Sobrevivió una persona en el Titanic? Variables:
El árbol podría hacer:
⚙️ Criterios de división comunes:
sklearn): mide impureza✅ Ventajas:
❌ Desventajas: