Proyecto Machine Learning Supervisado: práctica con algoritmo de Decision Tree y Random Forest

Clase 18 de 32 • Curso de Introducción a Machine Learning 2018

Fredy Santander Baños

student•

Les comparto otra solución ante un error que me surgió al momento de querer ejecutar el código de Lesly. Resulta ser que me escupió el siguiente error:

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-104-725046ce28f7> in <module>
      1 # entrenar (fit)
      2 
----> 3 clf_dt.fit(train_data, train_labels)

~\Anaconda3\lib\site-packages\sklearn\tree\tree.py in fit(self, X, y, sample_weight, check_input, X_idx_sorted)
    799             sample_weight=sample_weight,
    800             check_input=check_input,
--> 801             X_idx_sorted=X_idx_sorted)
    802         return self
    803 

~\Anaconda3\lib\site-packages\sklearn\tree\tree.py in fit(self, X, y, sample_weight, check_input, X_idx_sorted)
    114         random_state = check_random_state(self.random_state)
    115         if check_input:
--> 116             X = check_array(X, dtype=DTYPE, accept_sparse="csc")
    117             y = check_array(y, ensure_2d=False, dtype=None)
    118             if issparse(X):

~\Anaconda3\lib\site-packages\sklearn\utils\validation.py in check_array(array, accept_sparse, accept_large_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, ensure_min_samples, ensure_min_features, warn_on_dtype, estimator)
    568         if not allow_nd and array.ndim >= 3:
    569             raise ValueError("Found array with dim %d. %s expected <= 2."
--> 570                              % (array.ndim, estimator_name))
    571         if force_all_finite:
    572             _assert_all_finite(array,

ValueError: Found array with dim 3. Estimator expected <= 2.

Investigando un poco en internet encontré que el error surge por que el data set de entrenamiento se representa como una matriz de 3 dimensiones, por lo que antes de seguir con el proceso de entrenamiento; esta matriz debe convertirse a una de 2 dimensiones, yo lo hice con las siguientes líneas de código:


nsamples, nx, ny = images_train.shape
d2_train_dataset = images_train.reshape((nsamples,nx*ny))

Y posteriormente en donde divido los datos de training, coloco el valor de "d2_train_dataset", como se puede observar en la siguiente línea de código:

train_data, test_data, train_labels, test_labels = train_test_split(d2_train_dataset, labels_train, test_size=0.3, random_state=42)

Saludos, espero les ayude mi aporte :D

Bruno Valarezo

student•

Le falto explicar para qué son las etiquetas, qué contienen, que se obtiene al entrenar?? me quedan muchas dudas después de esta clase… 😔

Lesly Sandra Zerna

teacher•

Las etiquetas en Machine Learning sirven para identificar o darle un “nombre” al dato con el que se esta trabajando

al entrenar, estas "entrenando" a tu modelo para que sepa reconocer entre los diferentes dígitos del 0 al 9, así que cuando le des datos nuevos, imágenes nueva de datos, el modelo entrenado sabrá darte una respuesta.

Junior Cupe Casquina

student•

# Requirements
#   pip install matplotlib
#   pip install python-mnist
#   pip install scikit-learn

from mnist import MNIST
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

mnData = MNIST('/path/to/data')

data, labels = mnData.load_training()

train_data, test_data, train_labels, test_labels = train_test_split(data, labels, test_size=0.3, random_state=46)

dt_classifier = DecisionTreeClassifier()

dt_classifier.fit(train_data, train_labels)```

Cristhian Camilo Delgado Pazos

student•

Me gusta tu clase.

Daniel Miguel Rodriguez Layton

student•

Me pueden colaborar con este error, no encontré la solución en Internet, si son tan amables les agradezco para continuar con el curso. Gracias

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-74-e6c5679c2328> in <module>()
     11 
     12 
---> 13 train_data,test_data,train_labels,test_labels = train_test_split(d2_train_dataset,labels,test_size = 0.3, random_state=42)

C:\Users\User\Anaconda3\lib\site-packages\sklearn\model_selection\_split.py in train_test_split(*arrays, **options)
   2182         test_size = 0.25
   2183 
-> 2184     arrays = indexable(*arrays)
   2185 
   2186     if shuffle is False:

C:\Users\User\Anaconda3\lib\site-packages\sklearn\utils\validation.py in indexable(*iterables)
    258         else:
    259             result.append(np.array(X))
--> 260     check_consistent_length(*result)
    261     return result
    262 

C:\Users\User\Anaconda3\lib\site-packages\sklearn\utils\validation.py in check_consistent_length(*arrays)
    229     """
    230 
--> 231     lengths = [_num_samples(X) for X in arrays if X is not None]
    232     uniques = np.unique(lengths)
    233     if len(uniques) > 1:

C:\Users\User\Anaconda3\lib\site-packages\sklearn\utils\validation.py in <listcomp>(.0)
    229     """
    230 
--> 231     lengths = [_num_samples(X) for X in arrays if X is not None]
    232     uniques = np.unique(lengths)
    233     if len(uniques) > 1:

C:\Users\User\Anaconda3\lib\site-packages\sklearn\utils\validation.py in _num_samples(x)
    140         if len(x.shape) == 0:
    141             raise TypeError("Singleton array %r cannot be considered"
--> 142                             " a valid collection." % x)
    143         # Check that shape is returning an integer or default to len
    144         # Dask dataframes may not return numeric shape[0] value

TypeError: Singleton array array(<built-in method reshape of numpy.ndarray object at 0x0EB593E0>,
      dtype=object) cannot be considered a valid collection.

Diana Emilia Levano Torres

student•

En el lenguaje C se puede hacer el algoritmo?

Angel Illescas Malagón

student•

¿para que sirven las etiquetas?

Jonathan Jair Díaz Pérez

student•

Las etiquetas en Machine Learning sirven para identificar o darle un “nombre” al dato con el que se esta trabajando, en el caso del proyecto ML Supervisado cada imagen tenía su correspondiente etiqueta (nombre) es por esta razón que los resultados de la predicción al final del proyecto mostraba un dígito (etiqueta) correspondiente a la imagen con la cual se había hecho la prueba.

Darvin Orozco

student•

Las etiquetas son como el nombre que le vamos a dar a un tipo de dato. Ejemplo: En excel, en toda la fila 1, casi siempre colocamos el nombre a los datos que irán en cada columna.
Entonces, podemos tener muchas columnas de dígitos u otro tipo de datos que el **nombre **o la **etiqueta **la encontramos al inicio de cada columna.

Proyecto Machine Learning Supervisado: práctica con algoritmo de Decision Tree y Random Forest

Intro

Bienvenidos al Curso de Introducción a Machine Learning

Introducción al Machine Learning

Glosario de palabras técnicas

Conceptos Básicos

Conceptos básicos: Inteligencia artificial, Machine Learning y Deep Learning

Inteligencia artificial, Machine Learning y Deep Learning

Inteligencia Humana y Artificial

Machine Learning, Redes Neuronales Artificiales y Aprendizaje Profundo

Ciencias de Datos

Set de Datos

TUTORIAL PROYECTO: Trabajando con datos

Instalación de Jupyter Notebook

SciKit Learn: tutorial básico

Introducción a Datos y Set de Datos

Proyecto: Trabajando con datos

Modelos de ML

Tipos de Machine Learning y modelos principales

Introducción al aprendizaje supervisado y no supervisado

Machine Learning Supervisado Algoritmos: Regresión Lineal, Logísticay Naive Bayes

Machine Learning Supervisado Algoritmos: K-Nearest Neighbors, Decision Tree, Random Forest, y Redes Neuronales

Proyecto Machine Learning Supervisado: práctica con algoritmo de Decision Tree y Random Forest

Machine Learning No Supervisado: Algoritmos

Proyecto de Machine Learning no Supervisado: aplicando algoritmo k-means

Evaluación

Introducción a la evaluación del modelo entrenado

Evaluando nuestro algoritmo entrenado

Matriz de confusión, precisión y recall

Otras evaluaciones: Error cuadrático medio

Proyecto de Machine Learning Supervisado: aplicando la matriz de confusión a nuestro algoritmo entrenado

Probando nuestro algoritmo entrenado en un set de datos nuevos

ML y Matemáticas

Machine Learning y Cálculo / Reto

Introducción al Machine Learning y Matemáticas

Machine Learning y Álgebra Lineal

Machine Learning y Probabilidad y Estadística

Conceptos Finales

Revisión de los pasos seguidos en el proyecto

Recomendaciones y despedida