¿Qué son los random forest o bosques aleatorios?
Curso de Decision Trees y Random Forest con Python y scikit-learn
Contenido del curso
Paolo Joaquin Pinto Perez
Valery Villamizar Avella
Antonio Demarco Bonino
Julián Cárdenas
Diego Mauricio Zuluaga Rodríguez
Diego Mauricio Zuluaga Rodríguez
Sebastián Franco
Mario Alexander Vargas Celis
Iván Roberto Rivas Celeita
Layla Scheli
ProfesorRandom Forest
Bosques aleatorios en sklearn (RandomForestClassifier y RandomForestRegressor), cada árbol del conjunto se construye a partir de una muestra de arranque del conjunto de entrenamiento. . Al dividir cada nodo durante la construcción de un árbol, la mejor división se encuentra entre todas las características de entrada o un subconjunto aleatorio de tamaño max_features(en sklearn). . El propósito es disminuir la varianza del estimador forest. Los árboles de decisión individuales suelen exhibir una gran variación y tienden a sobreajustarse. . En la práctica, la reducción de la varianza suele ser significativa, por lo que genera un mejor modelo general.
La implementación de scikit-learn combina clasificadores promediando su predicción probabilística, en lugar de permitir que cada clasificador vote por una sola clase.
Fuente doc sklearn:
Random foreste es un método de ensamble que se basa en la combinación de múltiples arboles de decisión, al igual que el árbol de decisión, es un algoritmo de aprendizaje supervisado, que puede utilizarse en problemas de clasificación como de regresión.
¿Que es un ensamble?
Un Random Forest es un conjunto de muchos árboles de decisión que trabajan en conjunto. La idea principal es que en lugar de entrenar un solo árbol de decisión, se entrena una colección de árboles y se toma la decisión promedio o mayoritaria entre ellos. Cada árbol se entrena con una muestra diferente de los datos, y las predicciones se combinan para obtener un resultado más robusto.
Qué es un Random Forest!
Aquí hay algunas características clave de los Random Forests:
Ensemble Learning: Los Random Forests se basan en el concepto de ensemble learning, que implica combinar múltiples modelos para mejorar el rendimiento predictivo. En el caso de Random Forests, los modelos individuales son árboles de decisión.
Bagging (Bootstrap Aggregating): El proceso de construcción de un Random Forest implica la creación de múltiples árboles de decisión, cada uno entrenado en una muestra aleatoria (con reemplazo) de los datos de entrenamiento. Esto se conoce como bagging. Cada árbol "ve" una parte diferente de los datos, lo que reduce la probabilidad de sobreajuste.
Random Feature Selection: Además de usar muestras aleatorias de datos, los Random Forests también utilizan selección aleatoria de características en cada árbol. En lugar de considerar todas las características para cada división de nodo, se elige un subconjunto aleatorio de características. Esto ayuda a decorrelacionar los árboles y mejora la diversidad de los modelos en el bosque.
Votación y Promedio: Cuando se trata de clasificación, un Random Forest toma una decisión votando entre los árboles. Cada árbol emite su propia predicción y la clase que obtiene más votos se toma como la predicción final. En el caso de regresión, se promedian las predicciones de los árboles para obtener la predicción final.
Robustez y Generalización: Debido a su naturaleza de conjunto y su capacidad para manejar automáticamente el sobreajuste, los Random Forests tienden a producir modelos robustos y generalizables que funcionan bien en una variedad de conjuntos de datos.
Los Random Forests se utilizan en una amplia gama de aplicaciones de aprendizaje automático, incluyendo clasificación, regresión, detección de anomalías y más. Son particularmente útiles cuando se trabaja con conjuntos de datos grandes y complejos, y a menudo superan a los árboles de decisión individuales en términos de precisión y estabilidad.
¿Cómo combina las predicciones de varios árboles?
El mecanismo de combinación depende directamente del tipo de problema que estés resolviendo en tu proyecto. Si estás trabajando en un problema de clasificación (por ejemplo, predecir si un correo es spam o no spam, o si un paciente tiene una enfermedad), el Random Forest utiliza un sistema de votación por mayoría. Cada árbol emite su "voto" individual y la clase que obtenga más votos se convierte en la predicción final del modelo. Por otro lado, si estás resolviendo un problema de regresión (como predecir el precio de una casa en dólares o las ventas del próximo mes), el modelo toma las predicciones numéricas de todos los árboles y calcula el promedio matemático. Esta técnica de combinar múltiples modelos simples para crear uno más fuerte y estable se llama Ensemble Learning (aprendizaje en conjunto), y es el verdadero secreto detrás del alto rendimiento de este algoritmo.
¿Cuándo debo elegir este algoritmo de clasificación?
Debes considerar usar un Random Forest cuando busques un equilibrio perfecto entre alta precisión y facilidad de uso. Es un algoritmo "todoterreno" excelente para establecer un modelo base rápido antes de probar redes neuronales más complejas. Es ideal cuando tienes un conjunto de datos complejo con muchísimas variables (características) y no quieres pasar horas ajustando hiperparámetros, ya que funciona sorprendentemente bien con su configuración por defecto en bibliotecas como scikit-learn. También es la mejor opción cuando notas que tu árbol de decisión simple está sufriendo de overfitting y necesitas regularizarlo. Sin embargo, hay una excepción importante: si necesitas que tu modelo sea 100% interpretable (es decir, necesitas explicar exactamente por qué el modelo tomó una decisión paso a paso a un cliente o auditor), un árbol de decisión simple podría ser mejor. Un bosque de 100 árboles actúa como una "caja negra" que es muy difícil de leer visualmente.
Los Random Forest son un tipo de algoritmo de ensamble, es decir, donde se combinan múltiples árboles de decisión para mejorar el desempeño de la tarea final. Los ensambles son también conocidos como métodos combinados
Los Random Forest están basados en árboles de decisión, por lo que heredan sus naturalezas y restricciones, es decir, son considerados algoritmos de aprendizaje supervisado y solo pueden ser usados para tareas de regresión y clasificación
Los Random Forest o Bosques Aleatorios son un algoritmo de aprendizaje automático supervisado que se utiliza tanto para clasificación como para regresión.
🌲 ¿Qué son?
Un Random Forest es un conjunto (ensamble) de muchos árboles de decisión que trabajan juntos. En lugar de confiar en un solo árbol de decisión, este método construye varios árboles y combina sus resultados para obtener una predicción más precisa y robusta.
🔍 ¿Cómo funciona?
🎯 Ventajas:
⚠️ Desventajas:
📊 Ejemplo de uso:
Si estás clasificando tipos de vehículos (eléctrico, híbrido, gasolina) a partir de datos como peso, potencia, y consumo, un modelo Random Forest puede ofrecer muy buena precisión al combinar decisiones de múltiples árboles.
supuestamente hice el curso supercondensado de ML de gabriel gomila en Udemy y ni idea que era un RF hasta hoy.
Gracias Ivan, me alegro que asi sea :)
