Carga de dataset para computer vision

Clase 8 de 17 • Curso de Transfer Learning con Hugging Face

Fredy Alberto Orozco Loaiza

student•

Creo que está mal llamar a lo que hicimos extracción de características. En la literatura se conoce como extracción de características, a los valores de la penultima capa de la red (Antes de entrar a la clasificación). Las aplicaciones de esto es para transformar imagenes (Que son datos no-estructurados) a datos estructurados ya aplicar modelos clásicos con ellos. Lo que hicimos aquí más bien lo llamaría pre-procesamiento y son transformaciones que le hacemos a la imagen para entrarlas al modelo.

Omar Uriel Espejel Díaz

teacher•

Me hace sentido lo que mencionas. Concuerdo. Como está ahora "extracción de características" es como se le conoce en los transformers.

Patricio Sánchez Fernández

student•

Fredy, gracias por compartir tus conocimientos...!

Miguel Rodríguez

student•

repo_id = 'google/vit-base-patch16-224-in21k'

JUAN DAVID ORTIZ CORREA

student•

Actualmente el ViTFeatureExtractor esta deprecado, sugiere usar ViTImageProcessor

Jose Colmenares

student•

A mi me funcionó el código del notebook de Colab sin problemas

Gilberto Espinoza Maciel

student•

Siguiendo el ejemplo de la clase me aparecio la siguiente advertencia

 FutureWarning: The class ViTFeatureExtractor is deprecated and will be removed in version 5 of Transformers. Please use ViTImageProcessor instead.f

Entonces el bloque a ejecutar es el siguiente en este paso

from transformers import ViTImageProcessor

repo_id = 'google/vit-base-patch16-224-in21k'
feature_extractor = ViTImageProcessor.from_pretrained(repo_id)

Con eso podemos seguir con el resto del tutorial

Erledie Salazar

student•

Genial, gracias por el dato.

Matias Cardozo

student•

El feature extractor que se utilizó tiene que reunir las mismas caracteristicas que el modelo preentrenado? Es decir si el imput del modelo por ej. asumamos que necesita 224x224, el feature extractor tiene que ser capaz tambien de transformar las nuevas imagenes a 224x224? No entiendo mucho su aplicación.

Gracias!

Maria Barrera

student•

Creo que síp, pero el feature extractor no estoy muy segura si se encarga de hacer el mismo procesamiento, yo lo veo más como informativo sobre el procesamiento. Ya uno se debe de encargar de hacer ese mismo procesamiento con el dataset de uno!!

Fredy Alberto Orozco Loaiza

student•

Si exactamente, más que un extracción de caracterisisticas es una trasnformación de la imagen para que pueda entrar al modelo. Es más si pones esté código, ves la imagen original, algo cambiada.

from matplotlib import pyplot as plt
plt.imshow(image[0].numpy().transpose(1,2,0))

cristhian toribio amaro

student•

hola cotnrate google colab pro, configurado con GPU y estandar, y quiero ejecutar: from transformers import TrainingArguments

training_args = TrainingArguments( output_dir="./platzi-vit-model-omar-espejel", evaluation_strategy="steps", num_train_epochs=4, push_to_hub_organization="platzi", learning_rate=2e-4, remove_unused_columns=False, push_to_hub=True, load_best_model_at_end=True, )

me da error, me puedes ayudar?

Edwin F Bohorquez Vargas

student•

para poder hacer entrenamiento de nuestro modelo requerimos: un modelos, argumentos de entrenamiento, una función colab, datos de entrenamiento, datos de la función, datos de validación, función de features

Patricio Sánchez Fernández

student•

Excelente apunte, gracias Edwin...!

Camilo Daza

student•

Hola, si estoy usando otro dataset, y al momento de ejecutar el feature extractor, me aparece este mensaje, como lo puedo solucionar, me sucede de hecho con varios datasets diferentes en HF:

ValueError: Unsupported number of image dimensions: 2

y este es el codigo, igual al de la clase:

feature(image1,return_tensors=“pt”)

Ayuda?

Anderson Chávez Tamayo

student•

Hola! Cuando coloco el símbolo ! se pone de color rojo como si fuera de error, alguien sabe por qué pasa eso?

wilmer ruiz

student•

Hola, esttaba haciendo el ejercicio y no me salio, pero dio ese error he intentado con algunas cosas de stackoverflow pero no me resulto en google colab ¿que es?

from datasets import load_dataset

ds = load_dataset("beans")


ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-2-5a886ec9890a> in <cell line: 1>()
----> 1 from datasets import load_dataset
      2 
      3 ds = load_dataset("beans")

ModuleNotFoundError: No module named 'datasets'

Simón Arboleda

student•

como puedo usar el feature extractor para que me retorne tensores de numpy?

Víctor Trigo

student•

¿Cómo sé cuál es la id de un modelo o repo?

Kevin Daniel Mora Gonzalez

student•

lambdalabs/pokemon-blip-captions Copied al inicio de la card del modelo te da un nombre asi en vez de Copied esta un icono de copiar

Luis Espinoza Balcazar

student•

que significa el 3 en el shape del feature_extractor?

Víctor Trigo

student•

Creo que son los 3 canales RGB de la imagen

MARIA TERESA PANIAGUA RIVERA

student•

Gracia

Emilio Sala

student•

Para más información: Documentacion VITImageProcessor

Gabriel Jaime Cardona Osorio

student•

En estos momentos, al momento de usar:

labels = ds['train'].features['labels']

Genera el siguiente error: KeyError: 'labels'

Por lo que solo basta con escribir:

labels = ds['train'].features['label']
labels

Para obtener el mismo output de la clase

from datasets import load_dataset

ds = load_dataset("beans")


ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-2-5a886ec9890a> in <cell line: 1>()
----> 1 from datasets import load_dataset
      2 
      3 ds = load_dataset("beans")

ModuleNotFoundError: No module named 'datasets'

Carga de dataset para computer vision

Introducción al Hub de Hugging Face

Introducción al transfer learning

Machine learning abierto para todo el mundo

Las tasks en machine learning

Primeros pasos con transfer learning y transformers

Tus primeros modelos pre-entrenados usando pipeline

Explorando los datasets

Introducción a los Transformers

Aplicando transfer learning

Computer vision

Carga de dataset para computer vision

Procesamiento de dataset para computer vision

Configurando un Trainer para computer vision

Entrenamiento y evaluación de modelo de computer vision

Procesamiento de lenguaje natural

Carga de dataset para NLP

Procesamiento de dataset para NLP

Configurando un Trainer para NLP

Entrenamiento y evaluación de modelo de NLP

Comparte en el Hub

El Hub como tu curriculum para machine learning

Compartir tu modelo en el Hub de Hugging Face