Implementando un clasificador totalmente conectado

Clase 16 de 27 • Curso de Introducción a Machine Learning 2019

Amylkar Urrea Montoya

student•

Pienso que es mas chevere que se escriba el código en vivo y no simplemente copiarlo y pegarlo, y mas aun cuando ni siquiera se sube el notebook usado, entonces se presta para uno perderse porque no se muestra el código completo.

Maria Guadalupe Diaz Escobar

student•

Muy cierto

Jaime Andres Valencia Gaviria

student•

el notebook siempre esta en archivos y enlace

Paolo Donato Torregrosa Navarro

student•

Esta es una recomendación que les doy, a los que estan en este momento del curso y no tienen claras muchas cosas, como por ejemplo ¿de donde salen todas estas funciones? ¿como programo en python? etc....

Primero, mirar este link y guiarse un poco y ubicarse en el respectivo nivel de conocimiento, estudiar lo que creas necesario, y una vez tengas mas que claros todos los contenidos del primer mes (me refiero a los temas que propone el link) regresas y continuas

Nicolás Neira Navarrete

student•

buenísimo aporte

Felipe Andrés González Quintero

student•

UY perfecto, gracias

Jhon Alexander Restrepo Rivera

student•

Hasta el momento muy interesante el curso, sin embargo, aunque el profesor se toma el trabajo de explicar el paso a paso, no siento que tenga un objetivo claro a nivel "temático" y me siento más siguiendo el paso a paso del tutorial.

HERNAN DARIO VELASQUEZ ORTIZ

student•

Yo me siento igual!

Luis Fernando Manzano

student•

Esto, 100% la mejor manera de expresar el sentimiento del curso

Danilo Toro

student•

Que molesto ver mil mensajes de José Alirio, no hay algún moderador? Ya parece spam :/

Arturo Baduna

student•

no ajaja estaria bueno q lo banearan xd o q no lo den mas puntos

Arturo Baduna

student•

reconozco q algunos estan buenos, pero son demasiados

Usuario anónimo

user•

No me queda claro como funciona el .view(-1), alguien me puede explicar por favor?

Pedro Escobar

student•

Lo que hace, (según entiendo) es deducir por si mismo el tamaño de las dimensiones,

"Si hay alguna situación en la que no sabe cuántas filas quiere pero está seguro del número de columnas, entonces puede especificarlo con un -1. (Observe que puede extenderlo a tensores con más dimensiones. Sólo uno de los valores del eje puede ser -1). Esta es una forma de decirle a la biblioteca: "dame un tensor que tenga estas muchas columnas y calcula el número apropiado de filas que es necesario para que esto suceda"."

https://stackoverflow.com/questions/42479902/how-does-the-view-method-work-in-pytorch

Usuario anónimo

user•

Lo que el hace con eso e deducir el tamaño de las dimensiones.

Usuario anónimo

user•

avanzando pero con muchas dudas

Usuario anónimo

user•

Debería haberlo dejado el profesor pero ahí está:

https://colab.research.google.com/drive/1Waxyn2iHohvRc-fvhMzQERpf9b65MM4P

Usuario anónimo

user•

Gracias ;)

Maria Guadalupe Diaz Escobar

student•

Gracias

Usuario anónimo

user•

Bastante interesante el contenido de las últimas clases, pero el profesor no se da a entender, siendo temas tan importantes debería ir mas lento y explicando cada paso.

Rocio Calderon Hernandez

student•

que cursos hay que hacer para enterarse de las cosas de este curso? Algo me he saltado y no se el que...

Fernanda Vieira Jófili

student•

Hola @rociocalderon. Este curso es parte de la ruta de aprendizaje de Inteligencia Artificial. Puedes ver los cursos que se sugieren ver antes de este.

Jorge M.

student•

Tengo la misma pregunta, para ser el segundo curso es bastante avanzado

David Alsina

student•

NLLLoss explicada -> https://pytorch.org/docs/stable/nn.html#nllloss (hace falta entender la matemática que tiene detrás, aunque ahí se expliaca algo al respecto) https://forums.fast.ai/t/nllloss-implementation/20028

Usuario anónimo

user•

gracias

Usuario anónimo

user•

Gracias

María José Medina

student•

En el minuto 8:04 se menciona que hay que cambiar las dimensiones de las imágenes para que el modelo las acepte, pues bien, una forma de verificar que dimensiones tiene la imagen y a cuales convertirlas es esta:

data_iterator = iter(train_loader)
imgs, labels = data_iterator.next()

Con este código (que se vio en clases pasadas) podemos ver que hay dentro de train_loader a través de las variables imgs y labels.

Ahora, las dimensiones de la imagen las conocemos por:

print(imgs.shape)
torch.Size([64, 3, 32, 32])

El 64 es porque en principio se estableció que ese seria el tamaño del batch en el train_loader. El resto de los números corresponde a las dimensiones de la imagen. Finalmente, para convertir esta dimensión a la dimensión que espera el modelo se hace:

imgs.view(imgs.shape[0], -1)

que como se puede ver resulta en las dimensiones que recibe el modelo en la primera capa ( nn.Linear(3072, 512) ), es decir 64 objetos de tamaño 3072:

print(imgs.view(imgs.shape[0], -1).shape)
torch.Size([64, 3072])

Usuario anónimo

user•

No me queda muy claro el torch.unsqueeze, busco en la web y cada cosa me enreda más, alguien tiene una explicación sencilla?

Andres Mauricio Cano Causil

student•

Añade una nueva dimensión de tamaño 1 en la posición que le indiques como parámetro. Por ejemplo tenemos una matriz x de tamaño (3, 2)

x.unsqueeze(0) tamaño: (1,3,2) x.unsqueeze(1) tamaño: (3,1,2) x.unsqueeze(2) tamaño: (3,2,1)

Obviamente esto afecta la forma como visualizas los datos, intenta ejecutarlo en tu notebook si quedas con dudas.

Erick Herrera

student•

Lo que hace es agregar una dimensión. Un ejemplo,** USARÉ VARIOS PARENTESIS DE FORMA ( ), { }, [ ], PERO TODOS DEBEN SER [ ], ES SOLO PARA ILUSTRAR MEJOR**. Tenemos por ejemplo un tensor de 2 dimensiones: [ {1, 2}, {3, 4} ]. Este tensor tiene una dimensión 0 que es la dada por los [ ]. Y tiene una dimensión 1, dada por los { }. Cuando hacemos torch.unsqueeze(dim=0), agregamos una dimensión en la dimensión 0. Suponiendo que ( ) es la nueva dimensión, quedaría así. ( [ {1, 2}, {3, 4}] ) Cuando hacemos torch.unsqueeze(dim=1), agregamos una dimensión en la dimensión 1. Suponiendo que ( ) es la nueva dimensión, quedaría así. [ ( {1, 2} ), ( {3, 4} ) ] Cuando hacemos torch.unsqueeze(dim=2), agregamos una dimensión en la dimensión 2, si te fijas esta dimensión no existe, pero la hacemos existir porque creamos una nueva dimensión. Suponiendo que ( ) es la nueva dimensión, quedaría así. [ { ( 1 ), ( 2 ) } , { ( 3 ), ( 4 ) } ]

Nose si fue la mejor forma de explicar jaja, espero te sirva. Un abrazo!!

Martin Jose Zuleta Mejia

student•

Seria bueno si colocaran el codigo fuente, ya que aveces se saltan cosas y queda uno sin poder saber que hacer. Gracias.

Usuario anónimo

user•

Tutorial muy útil sobre el CIFAR10: https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html

jean pierre gabriel nieto acosta

student•

El problema realmente es que lo intentaron volver introductorio. El ML la AI y DL son temas complejos, requieren de matemáticas, background y que ya sepas programar bien. El profesor realmente es bueno, pero el contenido deficiente, no puedes pretender dar ml, ai o dl sin dar matemáticas y cosas complejas

Juan Camilo Alvarez Jurado

student•

Es que no es solo la matemática o la programación, siento que a este curso le falta explicar en alto nivel y de forma más ilustrada lo que se hace. El instructor simplemente sigue derecho; narra mientras codea y ya, y eso no es efectivo.

Usuario anónimo

user•

Comparto el codigo completo de esta sesión de clase:

# Implementando un clasificador totalmente conectado
softmax = nn.Softmax(dim=1)

log_softmax = nn.LogSoftmax(dim=1)

x = torch.tensor([[0.0, 110.0]])

softmax(x)
torch.log(softmax(x))
log_softmax(x)
torch.exp(log_softmax(x))
model = nn.Sequential(
            nn.Linear(3072, 512),
            nn.Tanh(),
            nn.Linear(512, 2),
            nn.LogSoftmax(dim=1))

loss = nn.NLLLoss()
plt.imshow(img.permute(1, 2, 0))
class_names[label]
out = model(img.view(-1).unsqueeze(0))
print(out)
print('-&gt;',class_names[label],' model:',class_names[index])
img, label = data_set[20]

out = model(img.view(-1).unsqueeze(0))

_, index = torch.max(out, dim=1)

print('-&gt;',class_names[label],' model:',class_names[index])

loss(out, torch.tensor([label]))
model = nn.Sequential(
            nn.Linear(3072, 512),
            nn.Tanh(),
            nn.Linear(512, 2),
            nn.LogSoftmax(dim=1))
learning_rate = 0.01

optimizer = optim.SGD(model.parameters(), lr=learning_rate)

lossFunction = nn.NLLLoss()

n_epochs = 5 #100

for epoch in range(n_epochs):
    for img, label in data_set:
        out = model(img.view(-1).unsqueeze(0))
        loss = lossFunction(out, torch.tensor([label]))
                
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    print(&quot;Epoch: %d, Loss: %f&quot; % (epoch, float(loss)))
train_loader = torch.utils.data.DataLoader(data_set, batch_size=64, shuffle=True)

model = nn.Sequential(
            nn.Linear(3072, 512),
            nn.Tanh(),
            nn.Linear(512, 2),
            nn.LogSoftmax(dim=1))


optimizer = optim.SGD(model.parameters(), lr=0.02)

loss_function = nn.NLLLoss()

n_epochs = 100

for epoch in range(n_epochs):
    for imgs, labels in train_loader:
        outputs = model(imgs.view(imgs.shape[0], -1))
        loss = loss_function(outputs, labels)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    print(&quot;Epoch: %d, Loss: %f&quot; % (epoch, float(loss)))
al_loader = torch.utils.data.DataLoader(validation_set, batch_size=64, shuffle=False)

correct = 0
total = 0

with torch.no_grad():
    for imgs, labels in val_loader:
        outputs = model(imgs.view(imgs.shape[0], -1))
        _, predicted = torch.max(outputs, dim=1)
        total += labels.shape[0]

        correct += int((predicted == labels).sum())
      
print(&quot;Accuracy: %f&quot; % (correct / total))
img, label = validation_set[20]
out = model(img.view(-1).unsqueeze(0))
_, index = torch.max(out, dim=1)

print('-&gt;: ',class_names[label],' model:',class_names[index])
plt.imshow(img.permute(1, 2, 0))
plt.show()

Usuario anónimo

user•

oye enserio ya deja de escribir tanto que el codigo esta montado en la plataforma. Y te pido el favor de la mejor manera, si vas a escribir un mensaje que sea en un mismo comentario porque escribes como 10 con cada palabra que dice el profe, no debes repetir todo lo que se dice en la clase, de verdad que te estas volviendo SMAP y fastidioso porque no se puede leer lo que los otros compañeros escriben de una manera mas fácil.

Usuario anónimo

user•

lo hace para ganar "puntos"

Usuario anónimo

user•

Sigo sin entender algunas cosas, pero seguimos adelante!

print('->: ',class_names[label],' model:',class_names[index])
plt.imshow(img.permute(1, 2, 0))
plt.show()

Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).

->:  cat  model: cat

jean pierre gabriel nieto acosta

student•

te recomiendo que te leas libros de mates y sobre este tema, hay cosas que no se entienden porque de lleno no se expican correctamente

Usuario anónimo

user•

Enlaces para entender mejor sobre la clase NLLLoss y la matemática que hay detras: https://pytorch.org/docs/stable/nn.html#nllloss

Foro: https://forums.fast.ai/t/nllloss-implementation/20028

Usuario anónimo

user•

Lástima que falta el notebook. ):

Eli Yiram Sánchez

student•

https://colab.research.google.com/drive/11NGIQfZmkOZ5FZaLwpv1NMzDguo9sMHo#scrollTo=6qg_szFgiMfx

Usuario anónimo

user•

Hola, las clases me han sido muy provechosas :) Sin embargo, me gustaría saber si alguien tiene bibliografía sobre los temas que hemos, en particular de la parte teórica, para profundizar un poco más. Gracias

Miguel Angel Hernández Torres

student•

Puede que te sirva este link. https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html

Implementando un clasificador totalmente conectado

Conceptos básicos de Machine Learning

Bienvenida Curso de Introducción a Machine Learning

Introducción a la terminología de Machine Learning

Terminología y regresión lineal

Trabajando con Pytorch

Introducción a Pytorch, trabajar con tensores y representar datasets con tensores

Trabajando con tensores

Representando datasets con tensores

Implementaciones de algoritmos de Machine Learning en Pytorch

Implementación de regresión lineal en Pytorch, Regresión logística, Implementación de regresión logística en Pytorch

Regresión logística

Implementación de regresión logística en Pytorch

Redes Neurales y reconocimiento de imágenes

Cómo funciona el reconocimiento facial

Neuronas y función de activación, Usando un modelo pre entrenado para reconocimiento de imágenes, Trabajando un dataset

Usando un modelo pre entrenado para reconocimiento de imágenes

Trabajando un dataset

Reconocimiento de imágenes

Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones

Training and Loss: entrenando y ajustando nuestro modelo

Implementando un clasificador totalmente conectado

Mejoras, limitaciones y conclusiones

Collab con Scikit

Aprende a usar Collab con scikit

Demo con Scikit: división de datos

Demo con Scikit: validación de datos

Algoritmos más usados en Machine Learning

Los algoritmos más usados en Machine Learning

Algoritmos supervisados en Machine Learning

Algoritmos no supervisados en Machine Learning

Bonus: Redes neuronales y herramientas

Qué es lo que está detrás de una red neuronal

Cómo funciona una red convolucional intuitivamente y porque son tan buenas con imágenes

Redes generativas

Cierre

Conclusiones y siguientes pasos