¿Cómo funcionan los árboles de decisión?

Los arboles de decisión son una estructura de datos formada por nodos, cada nodo representa una decisión. Para construir un modelo de ML con arboles de decisión, cada feature va a representar un nodo. La forma en que se elige el orden del feature para los nodos, es que se elige la variable que mejor separa los datos. Hay diferentes métricas para eso: **Métrica Gini:** Mide la impureza de los divisiones. Mide que tan mezcladas están las clases. Queremos que este valor sea bajo.  -p: Es la proporción que tenemos de cada clase. **Métrica Entropía** Basada en la teoría de la información, busca reducir la incertidumbre de la información.  **Ganancia:** Nos permite medir la capacidad para reducir la impureza o incertidumbre.   -D: el subconjunto de datos resultante de la división El proceso para construir un árbol: **1.-** Todos los features entran al nodo raíz y se calcula Gini. **2.-** Con cada feature se prueban las divisiones posibles, y para cada feature se calcula el gini. **3.-** Se calcula la ganancia para cada feature. El feature con mayor ganancia se selecciona para dividir el nodo, pues es el que mejor separa los datos. 4.- Para los siguientes nodo se repite el proceso recursivamente. Este video les puede ayudar a profundizar: <https://www.youtube.com/watch?v=LDRbO9a6XPU>

Para que sea más claro: * **Nodo raíz**: Es el primer nodo del árbol, que contiene todo el conjunto de datos y se divide en subconjuntos en función de una característica que maximiza la separación. Es el punto de inicio de las decisiones. * **División (Split)**: Es el proceso mediante el cual el árbol de decisión separa los datos en base a una característica. Cada nodo se divide en dos o más ramas en función de una condición de las características. * **Nodo de decisión**: Es un nodo interno del árbol que representa una pregunta o una condición basada en una característica. Dependiendo del resultado de esa condición (por ejemplo, "¿La edad es mayor a 30?"), el árbol sigue una rama u otra. * **Nodo de hoja o terminal**: Son los nodos finales del árbol donde no hay más divisiones. Estos nodos contienen la predicción final de la clase o valor que se está estimando. * **Poda (Pruning)**: Es una técnica utilizada para simplificar un árbol de decisión al eliminar ramas que tienen poca importancia o no mejoran significativamente el modelo. Ayuda a reducir el sobreajuste (overfitting). * **Rama / Subárbol**: Es una subsección del árbol de decisión. Cada rama se origina a partir de un nodo y representa una serie de decisiones que conducen a un nodo terminal. * **Nodo madre/padre e hijo**: El nodo padre es un nodo que se divide en dos o más nodos hijos. Cada nodo hijo es el resultado de una división del nodo padre.

Hace falta más rigurosidad en muchas cosas. Siento que es mejor dar más clase teórica. :)