Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones

Clase 14 de 27 • Curso de Introducción a Machine Learning 2019

Diego Armando Casillas Muñoz

student•

Veo muchos comentarios negativos sobre este curso cuando hago scroll para tratar de consultar algunas dudas, la verdad es que a mí me está gustando mucho y quiero darles consejos para que también lo disfruten en lugar de padecerlo:

Deben tener bases sólidas (bases, ni siquiera es necesario ser expertos) en álgebra lineal, estadística, probabilidad y programación en python, en especial resulta de mucha ayuda aprender sobre módulos científicos. Muchas de las cosas que el profesor obvia es porque en realidad basta con leerlas y tener cierto conocimiento del lenguaje para entenderlas bien.
No se desmotiven si no entienden algo, en ningún lugar van a encontrar toda esta información tan digerida y directa para aplicarse. Aunque expliquen todo, para ejercer esto en la vida real es necesario llevarlo a la práctica antes, y eso requiere un montón de tiempo extra e investigación de cosas que un curso requeriría mucho tiempo para impartir.
Aunque parezca que no, este es un curso introductorio, tómenlo como tal y no se preocupen tanto si no entendieron algo, hay cursos específicos avanzados de machine learning en la plataforma, y conforme avancen en la ruta podrán reforzar lo aprendido y comprender cosas que antes no habían entendido y quizá ni se habían preocupado por entender.

Ánimo!, a mí también me está costando más que todos los cursos anteriores de la ruta, pero definitivamente mi panorama se está ampliando y ahora al menos se por donde ir si quiero lograr algo. Además, según mi juicio el profesor es muy bueno, y nada ni nadie es perfecto ;)

Christian Sanclemente

student•

Diego muchas gracias por tus consejos, muy buen aporte!

jean pierre gabriel nieto acosta

student•

El problema realmente es lo digerida que esta la informacion

Usuario anónimo

user•

parce, saben mucho y todo muy bonito, pero estos cursos pareciera que fueran para gente que ya supiera y que llevara toda una vida estudiando eso. De nada sirve saber mucho y tener estos cursos si sólo quedas confundido. Esto de "introducción" tiene muy poco

Usuario anónimo

user•

Tienes razón. Pero ni modo, toca arreglárselas uno mismo para aprender,

Usuario anónimo

user•

Completamente de acuerdo. Yo se programar, pero he tenido que recurrir a otras fuentes para entender todo completamente. Me parece muy mala la metodología que se utiliza para enseñar este curso. Si es una iintroducción, deberían haber empezado con la librería scikitlearn, que me parece es más sencilla que pytorch, empezando porque no se necesita trabajar con tensores, que ya es un concepto pesado de entender.

Jaime Ramos

student•

en verdad siento que el curso es muy malo

Usuario anónimo

user•

Esta avanzado como para que lo presenten como una "introducción"

Andres Dario Suarez Guarnizo

student•

Traté de entender todo el código y lo documenté para que si alguno no entiende alguna parte pueda leerla y quizás ayudar con su duda:

https://colab.research.google.com/drive/1JZ9XHiFpOKwTOScclYgDJUINAf-bZ16j

Allí está el código en Colab, si me he llegado a equivocar en algo, porfavor agradecería me lo hicieran saber, o si desean complementar el código igual, gracias. Saludos

Esta segunda entrega que hago corresponde a la clase : Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones.

Arnulfo Rojas Jimenez

student•

Muy buen aporte.

En esta celda:

out = model(img.view(-1).unsqueeze(0)) #Se entrena el dato escogido, img.view(-1) - Transforma el tensor de 3,32,32 a un tensor de 3072

Yo no diría que se está entrenando el dato escogido, simplemente se está pasando esa imagen a traves de la red. [Forward pass].

Es decir, que tomo una imagen cualquiera, la aplano (muy importante pues paso de tener varias dimensiones a solo una )

Es necesario tomar aquella imagen con multiples dimensiones y convertirla en un tensor de una sola puesto que la primera capa de la red es una capa lineal y una capa lineal es aquella "columna" (que muestran siempre que se habla de NN) de neuronas, donde cada entrada (3072 en este caso) está conectada a todas las nueronas de la capa (Por eso también se conocen como Fully Conected)

Luego le aplico secuencialmente lo que está en nn.Sequential {

Primero:

nn.Linear = Suma poderada de los pesos con las entradas y el bias .

Luego

nn.Tanh = Agrego no linealidades con la función de activación.

Después otra capa linear donde se hace nuevamente una suma poderada hasta llegar la cantidad de clases de salida que deseamos, en este caso 2. (Gato y Carro)

Finalmente.

nn.Softmax = Toma los valores y los convierte en probabilidades, donde la suma de todas las clases debe ser uno. (Prob Gato + Prob Carro = 1) }

Usuario anónimo

user•

Gracias por brindar tu tiempo para documentar el código que hacemos en cada clase, de verdad eres de gran ayuda para entender un poco más lo que en el vídeo no queda del todo claro.

Alexis Herasimiuk

student•

Si vas a copiar y pegar código para llegar antes a descansar a tu casa, al menos dejá que se vea bien en el video, no somos adivinos.

Ariel Sharpe

student•

es muy irrespetuoso tu comentario, el código esta en la parte de archivos y enlaces.

Edmundo Toledo

student•

Es muy difícil mantener el interés cuando hay momentos en los que solo se dedica a copiar y pegar código

Enrique Devars

teacher•

¡Hola Edmundo! :D

Muchas gracias por tus comentarios, los tendremos en cuenta para futuras versiones del curso.

¡Nunca pares de aprender! 💚

Arturo Baduna

student•

yo pensaba lo mismo,pero si vos seguis ya te hace click, yo re vi todos los videos desde tensores

David Alsina

student•

<import torch
import torch.nn as nn
import torch.optim as optim

from torchvision import utils 
from torchvision import datasets 
from torchvision import transforms 

from PIL import Image
import urllib.request as request 
from matplotlib import pyplot as plt
_____________________________________________________________________

data_path = 'data/'
full_data_set = datasets.CIFAR10(data_path, train = True, download=True,
                                transform = transforms.Compose([
                                   transforms.ToTensor(),
                                   transforms.Normalize((0.4915, 0.4823, 0.4468),
                                                       (0.2470, 0.2435, 0.2616))   
                                ]))

full_validation_set = datasets.CIFAR10(data_path, train = False, download=True,
                                transform = transforms.Compose([
                                   transforms.ToTensor(),
                                   transforms.Normalize((0.4915, 0.4823, 0.4468),
                                                       (0.2470, 0.2435, 0.2616))   
                                ]))

_____________________________________________________________________

size = 4
dataloader = torch.utils.data.DataLoader(full_data_set, batch_size=size, shuffle = True, num_workers=2)

len(full_data_set)
_____________________________________________________________________

data_iterator = iter(dataloader)
imgs, labels = data_iterator.next()

classes = ['plane','car','bird','cat','deer','dog','frog','horse','ship','truck']

plt.imshow(utils.make_grid(imgs).permute(1, 2,0))

for i in range(size):
  print(classes[labels[i]])
_____________________________________________________________________


class_names = ['car', 'cat']

label_map = {1: 0, 3: 1}

data_set = [(img, label_map[label]) for img, label in full_data_set if label in [1,3]]
validation_set = [(img, label_map[label]) for img, label in full_validation_set if label in [1,3]]
_____________________________________________________________________

img, label = data_set[50]
img.shape

_______________________________________________________________________

model = nn.Sequential(
          nn.Linear(3 * 32 * 32, 512),
          nn.Tanh(),
          nn.Linear(512, 2)
        )
_____________________________________________________________________

def softmax(x):
  return torch.exp(x) / torch.exp(x).sum()

x = torch.tensor([1.0, 2.0, 3.0])

softmax(x).sum()

_____________________________________________________________________

model = nn.Sequential(
          nn.Linear(3 * 32 * 32, 512),
          nn.Tanh(),
          nn.Linear(512, 2),
          nn.Softmax(dim=1)
        )

_____________________________________________________________________

img, label = data_set[50]
plt.imshow(img.permute(1, 2, 0))
class_names[label]

_____________________________________________________________________

out = model(img.view(-1).unsqueeze(0))
out

_____________________________________________________________________

_, index = torch.max(out, dim=1) 
print('->', class_names[label], ' model:', class_names[index])

>

rusbel bermúdez rivera

student•

print("Heroe")

Mario Emiliano Gordon Pico

student•

La explicación es muy saltada, no explica muchos detalles del porque del código

Jaime Salas

student•

No he tenido ningun conocimiento previo de Machine Learning pero tengo un buen conocimiento de matematicas y estadistica por que soy Ingeniero, creo que los que no entienden bien, deben reforzar un poco de esas areas antes de entrar a la programacion, porque la dificultad no esta tanto en programar si no entender porque se hace y eso tiene un background matematico

Paolo Donato Torregrosa Navarro

student•

El curso de fundamentos matemáticos para inteligencia artificial es buen curso si sabes algo de matematicas y no quieres profundizar demasiado, también soy ingeniero y con una breve mirada del curso todo esto me quedo claro (mas o menos)

Usuario anónimo

user•

En donde esta ese curso amigo @paolo Torregrosa

Usuario anónimo

user•

En este enlace pueden encontrar documentación sobre la clase: torch.utils.data.DataLoader(): https://pytorch.org/docs/stable/data.html

Carli Code

teacher•

Muchas gracias!!!

Sergio Alejandro Bustos Diaz

student•

El profe solo esta haciendo copy y page de codigo y dice por encima que hace y sigue haciendo lo mismo. Asi es como dificil aprender aun teniendo las bases matematicas.

Usuario anónimo

user•

hay que complementar por cuenta propia, para los que no tenemos mucha experiencia....

Usuario anónimo

user•

Aqui hay buen información de la clase: torch.utils.data.DataLoader()

https://pytorch.org/docs/stable/data.html

num_workers (python:int, optional) – how many subprocesses to use for data loading. 0 means that the data will be loaded in the main process. (default: 0)

Usuario anónimo

user•

Comparto el código completo de la actividad de reconocimiento de imágenes en esta sesión de clase:

import torch
import torch.nn as nn
import torch.optim as optim

from torchvision import utils
from torchvision import datasets
from torchvision import transforms

from PIL import Image
import urllib.request as request
from matplotlib import pyplot as plt
#torch.set_printoptions(edgeitems=2) #default 3
#torch.manual_seed(123)
data_path = 'data/'
full_data_set = datasets.CIFAR10(data_path, train=True, download=True,
                          transform=transforms.Compose([
                              transforms.ToTensor(),
                              transforms.Normalize((0.4915, 0.4823, 0.4468),
                                                   (0.2470, 0.2435, 0.2616))
                          ]))

full_validation_set = datasets.CIFAR10(data_path, train=False, download=True,
                          transform=transforms.Compose([
                              transforms.ToTensor(),
                              transforms.Normalize((0.4915, 0.4823, 0.4468),
                                                   (0.2470, 0.2435, 0.2616))
                          ]))
size = 4
dataloader = torch.utils.data.DataLoader(full_data_set, batch_size=size, shuffle=True, num_workers=2)
len(full_validation_set)
len(full_data_set)
data_iterator = iter(dataloader)
imgs, labels = data_iterator.next()

classes = ['plane','car','bird','cat','deer','dog','frog','horse','ship','truck']

plt.imshow(utils.make_grid(imgs).permute(1, 2, 0))

for i in range(size):
  print(classes[labels[i]])
#classes = ['plane','car','bird','cat','deer','dog','frog','horse','ship','truck']
class_names = ['car', 'cat']

label_map = {1: 0, 3: 1}

data_set = [(img, label_map[label]) for img, label in full_data_set if label in [1, 3]]
validation_set = [(img, label_map[label]) for img, label in full_validation_set if label in [1, 3]]
img, label = data_set[20]
img.shape
model = nn.Sequential(
            nn.Linear(3 * 32 * 32, 712),
            nn.Tanh(),
            nn.Linear(712, 2))
def sigmoid(x):
  return 1 / (1 + torch.exp(-x))
x = torch.tensor([1.0, 2.0, 3.0])

sigmoid(x)
sigmoid(x).sum()
def softmax(x):
    return torch.exp(x) / torch.exp(x).sum()
softmax(x)
softmax(x).sum()
softmax = nn.Softmax(dim=1)

x = torch.tensor([[1.0, 2.0, 3.0],
                  [1.0, 2.0, 3.0]])

softmax(x)
model = nn.Sequential(
            nn.Linear(3072, 712),
            nn.Tanh(),
            nn.Linear(712, 2),
            nn.Softmax(dim=1))
img, label = data_set[20]

plt.imshow(img.permute(1, 2, 0))
class_names[label]
out = model(img.view(-1).unsqueeze(0))
out
_, index = torch.max(out, dim=1)

print('-&gt;',class_names[label],' model:',class_names[index])

Moises Diaz

student•

@duvavilla a que te refieres con Spam??

Carlos Nassif Trejo Garcia

student•

¿Que significa lo de "num_workers = 2"?

Hector F

student•

JAVIER SARMIENTO

student•

num_workers = 2, significa el número de subprocesos necesarios para cargar los datos y que este proceso sea más eficaz, es sobretodo utilizado cuando se tienen muchos datos, lo más utilizados son 2 y 8.

Usuario anónimo

user•

en el examen hacen la pregunta del DataLoader... en esta clase se explica que es para cargar el dataset... pero en el examen sale incorrecto, hay algo mas que haga el data loader?

jean pierre gabriel nieto acosta

student•

Lo mismo pense yo. No tengo respuesta

Humberto Jesus Guerra Marquez

student•

yo entendi que el dataloader genera un buffer de 4 imágenes escogidas aleatoriamente (True) de las 50 000 posibilidades que puede tomar

Usuario anónimo

user•

https://colab.research.google.com/drive/1Waxyn2iHohvRc-fvhMzQERpf9b65MM4P

Juan Jose Sepulveda Calderon

student•

¿Como es que realizo una predicción si no se ha entrenado? o me perdí y no me di cuenta cuando lo entrenamos.

Engels Prado

student•

tengo la misma pregunta.

Ariel Sharpe

student•

te perdiste,este es el codigo que entrena model = nn.Sequential( nn.Linear(3072, 512), nn.Tanh(), nn.Linear(512, 2), nn.Softmax(dim=1))

Usuario anónimo

user•

Seguí los pasos y me arroja que es un cat. tome el cogido que tienen montado en la plataforma y también da que es un gato y no un carro.

Oyarzabal Ivan

student•

El profe es medio raro, pero con este codigo a mi me funciono

model = nn.Sequential( #Se crea una iteración en secuencia, modifique el código de la clase para agregar una capa más, pero al ser sólo una iteración el resultado será el mismo, mala precisión
            nn.Linear(3072, 512), #Capa que entra en primer contacto con las entradas, es por eso que tiene 3072 entradas que corresponden al tamaño de datos (3*32*32) y se asocian 512 salidas
            nn.Tanh(), #la función de activacion de esas salidas es tanh
            nn.Linear(512, 325), #nuevamente utilizo un red lineal con 512 entradas, que corresponden a las 512 salidas anteriores, y que reflejan 325 salidas
            nn.Tanh(), #la función de activacion de esas salidas es tanh
            nn.Linear(325, 2),#nuevamente utilizo un red lineal con 325 entradas, que corresponden a las 325 salidas anteriores, y que reflejan 2 salidas
            nn.Softmax(dim=1) #Se utiliza softmax para que la salida sea 0 ó 1 y así poder clasificarse en cat o car.
            )

Oyarzabal Ivan

student•

Si lo queres ver mas limpio te lo dejo aca. en resumen agregas otra neurona mas jajaja

model = nn.Sequential( 
            nn.Linear(3072, 512), 
            nn.Tanh(), 
            nn.Linear(512, 325), 
            nn.Tanh(), 
            nn.Linear(325, 2),
            nn.Softmax(dim=1)
            )

Wilfredo Holguín Arbeláez

student•

El tema explicado por el profesor Adrián Catalán es bastante interesante y apasionante, veo muchos comentarios negativos en los que estoy de acuerdo. El título del curos habla de introducción a Machine Learning y pienso que el título no es acorde con lo que se ve en las clases. Estoy haciendo las clases de Inteligencia Artificial y Manchine Learning y pienso que hubo un salto bastante grande entre el pasado curso y este. La mayoría de las personas tenemos un gran choque cuando comenzamos este curso

Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones

Conceptos básicos de Machine Learning

Bienvenida Curso de Introducción a Machine Learning

Introducción a la terminología de Machine Learning

Terminología y regresión lineal

Trabajando con Pytorch

Introducción a Pytorch, trabajar con tensores y representar datasets con tensores

Trabajando con tensores

Representando datasets con tensores

Implementaciones de algoritmos de Machine Learning en Pytorch

Implementación de regresión lineal en Pytorch, Regresión logística, Implementación de regresión logística en Pytorch

Regresión logística

Implementación de regresión logística en Pytorch

Redes Neurales y reconocimiento de imágenes

Cómo funciona el reconocimiento facial

Neuronas y función de activación, Usando un modelo pre entrenado para reconocimiento de imágenes, Trabajando un dataset

Usando un modelo pre entrenado para reconocimiento de imágenes

Trabajando un dataset

Reconocimiento de imágenes

Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones

Training and Loss: entrenando y ajustando nuestro modelo

Implementando un clasificador totalmente conectado

Mejoras, limitaciones y conclusiones

Collab con Scikit

Aprende a usar Collab con scikit

Demo con Scikit: división de datos

Demo con Scikit: validación de datos

Algoritmos más usados en Machine Learning

Los algoritmos más usados en Machine Learning

Algoritmos supervisados en Machine Learning

Algoritmos no supervisados en Machine Learning

Bonus: Redes neuronales y herramientas

Qué es lo que está detrás de una red neuronal

Cómo funciona una red convolucional intuitivamente y porque son tan buenas con imágenes

Redes generativas

Cierre

Conclusiones y siguientes pasos