Usando un modelo pre entrenado para reconocimiento de imágenes

Clase 12 de 27 • Curso de Introducción a Machine Learning 2019

Resumen

En esta clase vamos a ver cómo implementar un modelo que ya esta entrenado en PyTorch, aprovechando que este framework nos otorga muchas funcionalidades en sus APIs entre ellas modelos para implementar.

José Emanuel Osorio Vázquez

student•

Guía para entender las partes del final del video que no están explicadas:

La parte del código:

request.urlretrieve('https://gist.githubusercontent.com/ykr/......./imagenet_classes.txt', 'labels.txt')
with open('labels.txt') as f:
    labels = [line.strip() for line in f.readlines()]

Descarga de la url un archivo de texto que es renombrado como 'labels.txt'. El archivo contiene todas las etiquetas que el modelo pre-entrenado inception_v3 contiene por default. Las eqtiquetas son los objetos que el modelo es capaz de identificar por default (Por default el modelo identifica 1000 etiquetas diferentes). La parte del código: labels = [line.strip() for line in f.readlines()] simplemente genera una lista cuyos elementos son las etiquetas del modelo y las extrae del archivo 'labels.txt'.

Cuando se envía el batch al modelo:

out = inception(batch)

Se genera un tensor llamado 'out' de uno dimensión con 1000 elementos (la misma cantidad de elementos que de etiquetas que reconoce el modelo). Cada elemento del tensor es un peso que es mayor o menor según el batch (la imagen enviada) se parezca a la etiqueta. Es decir: Si la etiqueta en la posición 5 es "goldenfish" entonces el tensor en la posición 5 ( out[0][5] ) tendrá un valor muy pequeño pues en el ejemplo de la clase la entrada es un "golden retriever". Entonces si por ejemplo la etiqueta "golden retriever" está en la posición 200 entonces el valor del tensor en la psoción 200 (out[0][200]) será el más alto pues la etiqueta tendrá la mayor coincidencia con el batch (la foto del golden).

En la parte de:

_, index = torch.max(out,1)

torch.max(out) regresa el valor mayor y el indice en el que se encuentra ese valor. Si pensamos en lo que se explica arriba el indice del valor mayor corresponde al índice de la etiqueta con mayor parecido al batch. por lo que 'index' es un tensor de cuyo único valor es el índice del valor mayor (el de mayor coincidencia con el batch).

La parte de:

percentage = torch.nn.functional.softmax(out, dim=1)[0]*100

torch.nn.functional.softmax(out, dim=1) Lo que hace es regresar un tensor el cual normaliza los valores de 'out' a valores entre 1 y 0. De manera que el valor más pequeño en 'out' estará muy cercano a 0 en el tensor 'percentage' y el valor más grande en 'out' será cercano a 1 en 'percentage'. torch.nn.functional.softmax(out, dim=1)[0] regresa todos los valores y torch.nn.functional.softmax(out, dim=1)[0]*100 simplemente los multiplica para que aparezcan en forma de porcentage.

Por último:

labels[index[0]], percentage[index[0]].item()

'labels' dijimos que es una lista con todas las etiquetas del modelo. index es un tensor que tiene un solo elemento igual al índice de la etiqueta de mayor parecido al batch y index[0] regresa el valor. Por lo que: labels[ index[0] ] Regresa el elementos en 'labels' cuya posición es index[0] osea el elemento con mayor parecido al batch. percentage[ index[0] ] Regresa el porcentaje de la coincidencia más alta entre etiqueta y batch y la extensión .item() lo que hace es regresar solo el valor y no un tensor.

Espero que les sirva. Saludos!

Rodrigo Josue Goitia Quiroga

student•

Muchas gracias por tu aporte. Fue muy útil.

Andres Mauricio Cano Causil

student•

Muchas gracias amigo, muy buena explicacion

Usuario anónimo

user•

Me parece que Adrian no explica bien las cosas, cuando enseñas código siempre debes explicar que hace cada línea, pero Adrian simplemente se salta conceptos de algunas cosas, y algunos queremos entender todo el proceso. Esto no pasaba con el anterior profesor. Me da la impresión que Adrian tampoco sabe bien que hace cada línea y por eso no las explica, lo que me parece muy mal. Con decir, si, este código hace esto y punto, no es suficiente para muchos.

Victor Manuel Osorio Parra

student•

Excelente tu comentario, si no fuera por algunos compañeros que tienen algo de conocimiento y que comparten lo que saben ya estuviera perdido en esta "Introducción"

Daniel Montes

student•

Tengo exactamente la misma sensación

Usuario anónimo

user•

Pésimo curso hasta el momento, no explica absolutamente nada de machine learning ni de deep learning, para copiar y pegar código sin entender el funcionamiento existen diversas páginas y/o plataformas gratuitas, se sobreentiende la complejidad del tema, pero es irrisorio definir esto como un curso cuando se ha basado únicamente en transcribir lineas de código sin mayor detalle y explicación.

Daniel Montes

student•

x2, lamentablemente es algo bastante común en Platzi.

Usuario anónimo

user•

Comparto el código de la actividad de esta sesión de clase, las pruebas del modelo preentrenado las hice con una imagen del caso de fauna felina en Colombia. Este código hizo una identificación del 98.95 % aproximado para los felinos jaguar, panther, Panthera onca, Felis onca de la imagen procesada.

Importación de las librerias necesarias:

import torch

from torchvision import utils
from torchvision import models
from torchvision import datasets
from torchvision import transforms

from PIL import Image
import urllib.request as request
from matplotlib import pyplot as plt

Instanciación del modelo inception:

inception = models.inception_v3(pretrained=True)

Descarga de la imagen desde la url y almacenamiento de esta en un arreglo:

url = 'https://static.iris.net.co/sostenibilidad/upload/images/2019/2/20/43051_1.jpg'
image = request.urlretrieve(url, 'test.jpg')
img = Image.open(image[0])
img

Se realiza el preprocesamiento del modelo, componiendo la transformación de este en un redimencionamiento de la imagen, centrado de imagen, llevando la imagen a tensor y normalizando la imagen, empleando los valores de la media y desviación estándar del modelo:

preprocess = transforms.Compose([
    transforms.Resize(128),
    transforms.CenterCrop(128),
    transforms.ToTensor(),
    transforms.Normalize(
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225]
    )
])

Se transpone la imagen preprocesada y se grafica esta permutandola:

img_t = preprocess(img)
batch = torch.unsqueeze(img_t, 0)
plt.imshow(img_t.permute(1, 2, 0))

Se visualizan los valores del modelo inception:

inception.eval()

Se observa la salida que genera el modelo inception:

out = inception(batch)
out

Se descargan y almacenan en una lista las etiquetas o labels de comparación para la imagen procesada en el modelo:

request.urlretrieve('https://gist.githubusercontent.com/ykro/acb00a36f737c12013f6e0f8a0d2cb61/raw/a2bb113b83e274048992f6550050a437fa4db76d/imagenet_classes.txt', 'labels.txt')
with open('labels.txt') as f:
    labels = [line.strip() for line in f.readlines()]

Se obseva de nuevo la salida del modelo:

out

Se indexa el máximo valor de la salida:

_, index = torch.max(out, 1)

Se obtiene el porcentaje del valor máximo de aproximación en las coincidencias de identificación de la imagen:

percentage = torch.nn.functional.softmax(out, dim=1)[0] * 100
labels[index[0]], percentage[index[0]].item()

Se indexa nuevamente para obtener otras posibles coincidencias y se visualizan las demás coincidencias identificadas con sus respectivos porcentajes:

_, indices = torch.sort(out, descending=True)

top_five = indices[0][:5]
for i in top_five:
  print(labels[i], percentage[i].item())

Moises Diaz

student•

Aqui tienes tu correspondiente like!

Daniela Cardona

student•

Hola, lo hiciste en Python no?

Usuario anónimo

user•

Estoy haciendo muchas cosas que no entiendo bien, soy el único?

Gabriel Escribá

student•

No lo eres, pero hay que seguir adelante y detenerse de vez en cuándo, repasarle una que otra vez mentalmente para entender, aunque sea un poco, lo que estás haciendo

Wilfredo Holguín Arbeláez

student•

Las explicaciones del profesor son pobres

Leonardo Acosta

student•

Sinceramente muchas de las cosas de este video las entiendo porque justamente hice otros cursos de ML pero realmente el profesor explica muy poco y da por sentado muchos conceptos que realmente no llego a entender y termino haciendo copy paste de un código que el no explicó.

No considero que el curso sea "Introductorio" realmente ni que este puesto en el orden adecuado de la ruta si tuve que hacer previamente otros cursos para entender este.

Quizás si estuviera mas adelante en la ruta este curso podría aprovechar el curso de otra manera.

Irvin Leiva

student•

La verdad no sé si exista un curso que te enseñe a hacer cosas. Todos son lo mismo,gratuitos o pagados. Solo te cuentan cosas, copian y pegan lineas de código y termina el curso. Cuando revisas que aprendiste la respuesta es nada. Y este profesor no explica solo traduce. Ejemplo: usa iter y dice "ponemos un iterador" luego yobya teníaeste códigoy te narra(traduce) el código pythonpero con la utilidad de eso quedas nulo.

Leonardo Acosta

student•

En general en mi caso he aprendido si con otros cursos, o por lo menos tengo una visión mas positiva jaja. pero justamente de ahí es que comparo con este y no siento que me haya aportado demasiado hasta ahí. Sinceramente deje en pausa este curso y me puse a hacer otros de la escuela de Data Science con la esperanza que luego al retomar este pueda tener otra idea mas clara

Juan Nuñez

student•

La implementación no fue difícil pero la verdad es que no se lo que estoy haciendo. No me gusta copiar código y sentirme orgulloso sin entender como funciona. El profe sabe sin duda pero hace falta más explicación .

Wilfredo Holguín Arbeláez

student•

totalmente de acuerdo

Andres Dario Suarez Guarnizo

student•

Traté de entender todo el código y lo documenté para que si alguno no entiende alguna parte pueda leerla y quizás ayudar con su duda:

https://colab.research.google.com/drive/1MDUzNjqvZ4TJLUY5IkaUV1irm2enscSp

Allí está el código en Colab, si me he llegado a equivocar en algo, porfavor agradecería me lo hicieran saber, o si desean complementar el código igual, gracias.

Saludos

Usuario anónimo

user•

Gracias!!

Felipe Andrés González Quintero

student•

Uff Excelente aporte

Usuario anónimo

user•

Estuvo interesante la forma de evaluar la imagen, no obstante siento que se salta pasos importantes solo con el fin de obtener un pronto resultado.

Eday Alix González Manjarrés

student•

Tienes toda la razón, A Platzi le toca mejorar esos aspectos.

Carli Code

teacher•

Hola! tuve problemas al cargar el url del ejemplo, sin embargo me fue fácil cargar una imagen descargada en mi ordenador a Colab, les comparto los simples pasos: Paso 1: Descargar la imagen Paso 2: ir a la parte izquierda y hacer click en "Subir"

Paso 3: Modificar el código de esta manera:

image = 'perro.jpg'
img = Image.open(image)
img

Ojalá les sirva!

Maria Margarita Herrera Mercado

student•

muchísimas gracias, no entendía como hacerlo, porque no me funcionaba al descargarlo de Google.

Carlos Nassif Trejo Garcia

student•

Mucho copy-paste al final. Hubiese estado padre que explicara detalladamente que hace el codigo linea por linea

Wilson Fernando Antury Torres

student•

Lo que hicimos:

traer a nuestro notebook el modelo de inception v3
Preparar la imágen como input del modelo pre-entrenado.
Obtener los labels del modelo.
En el momento de normalización de la imagen se ingresan unos vectores de medias y desviación estandar propias del modelo.
Se debe agregar una dimensión al tensor que contiene la imagen.
Se aplica el modelo a la imagen.
con ésta salida ya tenemos un porcentaje de probabilidad.
Se compara con los labels propios del modelo y ya tenemos una respuesta.
Se usaron redes neuronales

Luis Enrique Sanchez Piñerua

student•

Codigo que trae todas las etiquetas de inception

&lt;code&gt;
request.urlretrieve('https://gist.githubusercontent.com/ykro/acb00a36f737c12013f6e0f8a0d2cb61/raw/a2bb113b83e274048992f6550050a437fa4db76d/imagenet_classes.txt', 'labels.txt')
with open('labels.txt') as f:
    labels = [line.strip() for line in f.readlines()]

alexander garcia castañeda

student•

por qué se escogen esos valores para mean y std en la normalización?

carlos fallaque

student•

lo que pasa es que cuando trabajas con imagenes, tienes que normalisarlas, pero evidentement si consigues imagenes randoms, con mucha exposicion o diferentes colores, la normalizacion se hace dependiendo de la imagen mas grande, ejemplo

tenemos los siguientes datos 20 18 17 22 23 como puedes ver, estan super cerca y para tenerlos normalizados entre 0 y 1 basta con dividirlos entre 23 pero si tenemos

5 3 46 87 95 56 358 85625 podemos ver que si los dividimos por 85625 nos dan resultados un poco raros

para el dataset preciso que tenemos, ya hicieron los calculos y todo para ver que datos se necesitan para normalizarlos como lo puedes ver en la pagina original https://pytorch.org/hub/pytorch_vision_inception_v3/

y es por eso que escogemos esos numeros :3

Usuario anónimo

user•

Si, la realidad esq practicamente todo lo que he aprendido es de forma autodidacta, ya que el profesor no explica la funcionalidad y los parametros de cada funcion, por lo que uno tiene que buscar por otros lados para entender muy bien.

Moises Diaz

student•

Hola a todos! Si Tuvieron algun problema con este script:

inception = models.inception_v3(pretrained=True)

De que se quedaba cargando demasiado, es por un bug que hay en la version 1.4 de scipy segun lei

Solo me basto correr este script para que me cargue bien:

pip install --upgrade scipy==1.3.3```

Espero les ayude!

Daniel Correa

student•

el codigo de pip lo corro en la consola?

Daniel Correa

student•

corri tu codigo pero con ! antes en google colab y me funciono, gracias

Juan Pablo Gomez Hernandez

student•

No se entiende nada, ya que no estás explicando. Estás es contando como si todo lo que dices lo hubieras explicado teóricamente antes de esta clase.

Alexis Herasimiuk

student•

Por qué es necesario aplicar el método unsqueeze(), por qué el modelo necesita una dimensión adicional?, es en todos los casos?

Juan Nuñez

student•

Debo creerle al algoritmo?

DANIEL STEVEN SARMIENTO CUERVO

student•

JAJAJAJAJJAJAJ

Adrian Alberto Rodriguez

student•

Realmente fue una clase muy mala, entiendo que tenemos que ser autodidactas y buscar lo que no entendamos y lo que nos cause confusión pero aquí el profesor estuvo copiando y pegando una gran parte sin explicar lo básico de que estaba haciendo. esto deja muchas dudas y no nos ayuda a aprender

import torch

from torchvision import utils
from torchvision import models
from torchvision import datasets
from torchvision import transforms

from PIL import Image
import urllib.request as request
from matplotlib import pyplot as plt

preprocess = transforms.Compose([
    transforms.Resize(128),
    transforms.CenterCrop(128),
    transforms.ToTensor(),
    transforms.Normalize(
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225]
    )
])

request.urlretrieve('https://gist.githubusercontent.com/ykro/acb00a36f737c12013f6e0f8a0d2cb61/raw/a2bb113b83e274048992f6550050a437fa4db76d/imagenet_classes.txt', 'labels.txt')
with open('labels.txt') as f:
    labels = [line.strip() for line in f.readlines()]

&lt;code&gt;
request.urlretrieve('https://gist.githubusercontent.com/ykro/acb00a36f737c12013f6e0f8a0d2cb61/raw/a2bb113b83e274048992f6550050a437fa4db76d/imagenet_classes.txt', 'labels.txt')
with open('labels.txt') as f:
    labels = [line.strip() for line in f.readlines()]

Usando un modelo pre entrenado para reconocimiento de imágenes

Conceptos básicos de Machine Learning

Bienvenida Curso de Introducción a Machine Learning

Introducción a la terminología de Machine Learning

Terminología y regresión lineal

Trabajando con Pytorch

Introducción a Pytorch, trabajar con tensores y representar datasets con tensores

Trabajando con tensores

Representando datasets con tensores

Implementaciones de algoritmos de Machine Learning en Pytorch

Implementación de regresión lineal en Pytorch, Regresión logística, Implementación de regresión logística en Pytorch

Regresión logística

Implementación de regresión logística en Pytorch

Redes Neurales y reconocimiento de imágenes

Cómo funciona el reconocimiento facial

Neuronas y función de activación, Usando un modelo pre entrenado para reconocimiento de imágenes, Trabajando un dataset

Usando un modelo pre entrenado para reconocimiento de imágenes

Trabajando un dataset

Reconocimiento de imágenes

Construyendo un modelo, Implementando un clasificador totalmente conectado, Mejoras, limitaciones y conclusiones

Training and Loss: entrenando y ajustando nuestro modelo

Implementando un clasificador totalmente conectado

Mejoras, limitaciones y conclusiones

Collab con Scikit

Aprende a usar Collab con scikit

Demo con Scikit: división de datos

Demo con Scikit: validación de datos

Algoritmos más usados en Machine Learning

Los algoritmos más usados en Machine Learning

Algoritmos supervisados en Machine Learning

Algoritmos no supervisados en Machine Learning

Bonus: Redes neuronales y herramientas

Qué es lo que está detrás de una red neuronal

Cómo funciona una red convolucional intuitivamente y porque son tan buenas con imágenes

Redes generativas

Cierre

Conclusiones y siguientes pasos