Introducción a Ensembles y Árboles de Decisión

Clase 29 de 32 • Curso de Machine Learning Aplicado con Python

Alberto Gobbi

student•

Amigosss… finalmente. Probé a instalar graphviz de diferentes formas y ninguna me sirvió. ESTA ES LA QUE FUNCIONA:

conda install -c conda-forge python-graphviz

Funciona perfectamente. Como resultado de mis investigaciones, entiendan que PIP y ANACONDA no es lo mismo y que las instalaciones pueden variar. Les dejo la lista de comandos que "no funcionaron"

pip install graphviz

conda install python-graphviz

conda install -c anaconda graphviz

En mi caso estoy usando Jupyter Notebook. Por otro lado, aconsejan siempre descargar desde conda más que desde pip. Por último, les dejo el enlace de donde obtuve la información

Arnulfo Rojas Jimenez

student•

Aquí también está la información. De hecho esos fueron los pasos que yo seguí y funcionó perfectamente.

Gabriel Oswaldo Giraldo Martínez

student•

Muy bueno el aporte... Luego de intalarlo así udo importar la librería sin problemas

Jose Daniel Delgado Ballen

student•

Teoría árbol de decision. https://www.aprendemachinelearning.com/arbol-de-decision-en-python-clasificacion-y-prediccion/

Arles De Jesus Muñoz Ortiz

student•

buen aporte, Gracias

Julian David Orozco Colorado

student•

Que interesante ese blog de aprendizaje, ya me suscribi para que me lleguen todas las actualizaciones, gracias.

Loren Johanna Vásquez Rivera

student•

Intenté el árbol con 5 de profundidad y empieza a mostrar otras features importantes como imdb_socre, production_budget y opening_gross.

Luciano Gauchez

student•

Buenisimo!

Mauricio Andrés Guerra Cubillos

student•

Darvin Orozco

student•

Gracias! Esa gráfica y la explicación del profesor, nos dan una clara idea del porqué los ENSEMBLES son los mejores para cualquier tipo de problema. Saludos

Luis Carlos Parra Raffán

student•

Para quienes no han resuelto el curso usando Docker, la librería de graphviz puede ser adquirida poniendo en simbolo del sistema: conda install** -c anaconda graphviz**
si es que tienes la distribución anaconda o bien** $ pip install graphviz**

Darvin Orozco

student•

Gracias! buen aporte para instalar la dichosa graphviz

Usuario anónimo

user•

Para a instalación de griphviz en windows desde Anaconda. Salí a la terminal y digite el siguiente comando:

conda install python-graphviz

Con esto sirvió perfectamente.

Cristian Orozco Benjumea

student•

Ensembles: Este modelo utiliza otros submodelos más pequeños, entrena muchos de ellos y luego hace un voto entre cada uno de éstos. Cada uno dice su predición y promedia o toma el más frecuente y con éste resultado final hace la predicción.

Darvin Orozco

student•

Buen resumen, gracias!!

Alvaro Andres Avendaño Peña

student•

Para los que tienen problemas al momento de ejecutar la línea

graphviz.Source(treedot)

En el siguiente enlace muestran como solucionar el problema dependiendo que sistema operativo se use: https://stackoverflow.com/questions/35064304/runtimeerror-make-sure-the-graphviz-executables-are-on-your-systems-path-aft

Diego Martinez

student•

No puedo ver el link :c

Diego Martinez

student•

ok, ya quedo

Hugo Alexander Gonzalez Bocanegra

student•

este es el criterio de tipo cuadrático del que habla Juan Pablo, por el cual va aelegir mejor las features:

https://www.geeksforgeeks.org/python-mean-squared-error/#:~:text=The%20Mean%20Squared%20Error%20(MSE,of%20the%20squared%20error%20loss.

Jhon Jaiver Supelano Rojas

student•

los que no les funciona graphviz entran a la consola y escriben

pip install graphviz

Usuario anónimo

user•

Para quienes tengan problema con instalar graphviz en anaconda:

conda install -c conda-forge python-graphviz

Juan Pablo Homez Homez

student•

Hola Comunidad: tengo este error en el min 4.27 y me dice:

AttributeError: 'DecisionTreeRegressor' object has no attribute '_validate_data'

Si alguien sabe que estoy haciendo mal les agradecería.

![](

Elvis Ojeda Melo

student•

Me pasa igual, estoy usando google colab

Elvis Ojeda Melo

student•

reinicie el entorno de ejecucion y ejecute las celdas y funciona de forma normal

Usuario anónimo

user•

Trataba de instalar graphviz en conda y no me lo reconocía con ningún método. Al final estaba cometiendo un error muy simple, como estoy trabajando en linux, cada vez que lo instalaba lo hacía sin activar conda python3, por esto lo instalaba pero solo para python2. Active conda python3 y luego conda install -c conda-forge python-graphviz, todo funcionó bien.

Jhon Freddy Puentes Nuñez

student•

Virtudes de los arboles de decisión:

Metodo poderoso y probado.
Interpretables.
No necesitan escalar los datos.
Necesita menos pre-procesamiento de variables.

william albeiro amaya patiño

student•

Me gustaria que se trabajaran modelos arima, sarima, arch, garch, e-garch,m-garch, i- garch

Jean Paul

teacher•

Pronto vendra un curso sobre series de tiempo que incluiria esos modelos.

Usuario anónimo

user•

Esos ya son modelos un poco mas avanzados que se trabajan por series de tiempos, lo que implicaría todo un curso aparte.

YERKO PAREDES

student•

Hola, tengo una duda con las variables categóricas en los Árboles de decisión. ¿Las variables continuas siempre se deben discretizar? ¿Y además, deben ser binarias o no es necesario?

Jean Paul

teacher•

No es necesario discretizar, los arboles de decision tambien trabajan con variables continuas.

https://scikit-learn.org/stable/modules/tree.html

CART (Classification and Regression Trees) is very similar to C4.5, but it differs in that it supports numerical target variables (regression) and does not compute rule sets. CART constructs binary trees using the feature and threshold that yield the largest information gain at each node.

scikit-learn uses an optimised version of the CART algorithm.

Joel Carmona

student•

Tengo el siguiente error, no identifico el por que sucede.
Comparto el código que use y las versiones de las librerías.

!pip install graphviz

Collecting graphviz
Downloading https://files.pythonhosted.org/packages/84/44/21a7fdd50841aaaef224b943f7d10df87e476e181bb926ccf859bcb53d48/graphviz-0.8.3-py2.py3-none-any.whl
Installing collected packages: graphviz
Successfully installed graphviz-0.8.3

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sb
import time
import category_encoders as ce
import graphviz

#----------------------------------------------------------

from IPython.display import display
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import mutual_info_regression
from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_validate
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import validation_curve
from sklearn.model_selection import learning_curve
from sklearn.neighbors import KNeighborsRegressor
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import Imputer
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.tree import DecisionTreeRegressor
from sklearn.tree import export_graphviz

X = pd.read_csv("ejercicio000/X_opening.csv",encoding = 'utf-8')
y = X["worldwide_gross"]
X = X.drop("worldwide_gross",axis=1)

X_train, X_test, y_train, y_test = train_test_split(X,y, random_state=1)
modelo = DecisionTreeRegressor(max_depth=2)
modelo.fit(X_train,y_train)

DecisionTreeRegressor(criterion=‘mse’, max_depth=2, max_features=None,
max_leaf_nodes=None, min_impurity_decrease=0.0,
min_impurity_split=None, min_samples_leaf=1,
min_samples_split=2, min_weight_fraction_leaf=0.0,
presort=False, random_state=None, splitter=‘best’)

treedot = export_graphviz(modelo,out_file=None,feature_names=X.columns)
treedot

‘digraph Tree {\nnode [shape=box] ;\n0 [label=“opening_gross <= 41613376.0\nmse = 4.491994363696598e+16\nsamples = 1665\nvalue = 141540319.054”] ;\n1 [label=“opening_gross <= 22074048.0\nmse = 1.3333822193127828e+16\nsamples = 1506\nvalue = 92999937.199”] ;\n0 -> 1 [labeldistance=2.5, labelangle=45, headlabel=“True”] ;\n2 [label=“mse = 4923666241203544.0\nsamples = 1257\nvalue = 64781848.271”] ;\n1 -> 2 ;\n3 [label=“mse = 3.147813101998767e+16\nsamples = 249\nvalue = 235450289.735”] ;\n1 -> 3 ;\n4 [label=“opening_gross <= 70351576.0\nmse = 1.1039811871593587e+17\nsamples = 159\nvalue = 601300162.289”] ;\n0 -> 4 [labeldistance=2.5, labelangle=-45, headlabel=“False”] ;\n5 [label=“mse = 4.067538845924509e+16\nsamples = 92\nvalue = 440868287.554”] ;\n4 -> 5 ;\n6 [label=“mse = 1.2226485798747571e+17\nsamples = 67\nvalue = 821594676.851”] ;\n4 -> 6 ;\n}’

graphviz.Source(treedot)

ERROR

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
C:\ProgramData\Anaconda3\lib\site-packages\graphviz\backend.py in pipe(engine, format, data, quiet)
    153             stdout=subprocess.PIPE, stderr=subprocess.PIPE,
--> 154             startupinfo=STARTUPINFO)
    155     except OSError as e:

C:\ProgramData\Anaconda3\lib\subprocess.py in __init__(self, args, bufsize, executable, stdin, stdout, stderr, preexec_fn, close_fds, shell, cwd, env, universal_newlines, startupinfo, creationflags, restore_signals, start_new_session, pass_fds, encoding, errors)
    708                                 errread, errwrite,
--> 709                                 restore_signals, start_new_session)
    710         except:

C:\ProgramData\Anaconda3\lib\subprocess.py in _execute_child(self, args, executable, preexec_fn, close_fds, pass_fds, cwd, env, startupinfo, creationflags, shell, p2cread, p2cwrite, c2pread, c2pwrite, errread, errwrite, unused_restore_signals, unused_start_new_session)
    996                                          os.fspath(cwd) if cwd is not None else None,
--> 997                                          startupinfo)
    998             finally:

FileNotFoundError: [WinError 2] El sistema no puede encontrar el archivo especificado

During handling of the above exception, another exception occurred:

ExecutableNotFound                        Traceback (most recent call last)
C:\ProgramData\Anaconda3\lib\site-packages\IPython\core\formatters.py in __call__(self, obj)
    343             method = get_real_method(obj, self.print_method)
    344             if method is not None:
--> 345                 return method()
    346             return None
    347         else:

C:\ProgramData\Anaconda3\lib\site-packages\graphviz\files.py in _repr_svg_(self)
    104 
    105     def _repr_svg_(self):
--> 106         return self.pipe(format='svg').decode(self._encoding)
    107 
    108     def pipe(self, format=None):

C:\ProgramData\Anaconda3\lib\site-packages\graphviz\files.py in pipe(self, format)
    123         data = text_type(self.source).encode(self._encoding)
    124 
--> 125         outs = backend.pipe(self._engine, format, data)
    126 
    127         return outs

C:\ProgramData\Anaconda3\lib\site-packages\graphviz\backend.py in pipe(engine, format, data, quiet)
    155     except OSError as e:
    156         if e.errno == errno.ENOENT:
--> 157             raise ExecutableNotFound(args)
    158         else:  # pragma: no cover
    159             raise

ExecutableNotFound: failed to execute ['dot', '-Tsvg'], make sure the Graphviz executables are on your systems' PATH

<graphviz.files.Source at 0x23d476107f0>

Jupyter Notebook 5.5.0

Joel Carmona

student•

Intente esto, pero no funciono.

import os
os.environ["PATH"] += os.pathsep + 'C:/Users/tecno/AppData/Local/conda/conda/pkgs/graphviz-2.38.0-4/Library/bin/'

Joel Carmona

student•

Tampoco funciono… Alguna idea para solucionar?

os.environ["PATH"] += os.pathsep + 'C:\ProgramData\Anaconda3\Lib\site-packages\graphviz\__pycache__'

Jhon Freddy Puentes Nuñez

student•

Las redes neuronales siempre son muy interesantes y funciona muy bien en 2 problemas acotados que son:

Vision por computador.
Analisis de texto.

Julian David Orozco Colorado

student•

Curso de POO y Algoritmos con Python, claro que si porque sino voy a seguir igual de embolatado con tanta informacion previa si conocerla.

Usuario anónimo

user•

Se debe instalar antes de empezar con las actividades de esta sesión de clase la librería de gráficos, esto se hace con el siguiente comando:

conda install -c anaconda python-graphviz