Configurando un Trainer para computer vision

Cursos Empresas Blog Live Conf Precios

Contenido del curso

Introducción al Hub de Hugging Face

Primeros pasos con transfer learning y transformers

Computer vision

Procesamiento de lenguaje natural

Comparte en el Hub

Tomar examen

Configurando un Trainer para computer vision

Comentarios

Santiago Ahumada Lozano

Estudiante

Para quienes deseen guardar su modelo en un repo personal deben eliminar el argumento push_to_organization y cambiar el repositorio destino a uno personal, así output_dir="https://huggingface.co/NOMBRE_USUARIO/vit_model"

Es decir:

training_args = TrainingArguments(
    output_dir="https://huggingface.co/santiagoahl/vit_model",
    evaluation_strategy='steps',
    num_train_epochs=4,
    learning_rate=2e-4,
    remove_unused_columns=False,
    push_to_hub=True,
    load_best_model_at_end=True
)

Juan R. Vergara M.

Estudiante

Gracias 👍📝

Manuel Pérez Terradillos

Estudiante

Desconozco el porqué pero me daba un error con el https. Tuve que utilizar la siguiente instrucción:

<output_dir="./NOMBRE_USUARIO/vit_model">

Eber Laurente Lliuyacc

Estudiante

Si a alguno se le presenta error al momento de instanciar training_args

ImportError: Using the `Trainer` with `PyTorch` requires `accelerate>=0.20.1`: Please run `pip install transformers[torch]` or `pip install accelerate -U`

Yo lo solucioné creando un entorno virtual en colab e instalando las versiones compatibles de transformer y accelerate

!pip install virtualenv

# Crear un nuevo entorno virtual
!python3 -m virtualenv myenv

# Activar el entorno virtual
!source myenv/bin/activate

# Instalar las bibliotecas necesarias
!pip install transformers==4.30.2
!pip install accelerate==0.20.1

Manuel Pérez Terradillos

Estudiante

Muchas gracias por el aporte. Lo solucioné utilizando esas versiones que indicas, pero en lugar de generar un entorno virtual, añadí las dos instrucciones al principio:

%%capture
!pip install transformers==4.30.2
!pip install accelerate==0.20.1
!pip install datasets transformers

Mauricio Peñuela Aristizábal

Estudiante

Mil gracias, utilice la solución de @ManuelPterradillos y me funcionó (no tuve que crear el entorno virtual)

Yeder Laura vicente

Estudiante

Les comparto el Hub de Platzi en Hugging Face 🤗 https://huggingface.co/platzi

Yeder Laura vicente

Estudiante

Nota: en el caso que no tengas el token General lo que tienes que hacer es dar clic en New Token, colocas un nombre General (o el nombre que deseas) y el tipo en este caso sería WRITE

David Alejandro Quiñonez

Estudiante

Me di cuenta que dataset ya no exporta %%capture!pip install evaluateload_metric así que leí los docs y vi que ahora vienen desde el módulo evaluate :

%%capture
!pip install evaluate

import numpy as np
import evaluate

metric = evaluate.load("accuracy")

def compute_metrics(pred):
  return metric.compute(predictions= np.argmax(pred.predictions, axis=1), references= pred.label_ids)

Santiago Restrepo

Estudiante

Hay que estar suscrito a la organización de Platzi para poder hacer envio del modelo.

Massimo Angelini

Estudiante

¿Por qué es necesario definir un tokenizer en el Trainer cuando se supone que en prepared_ds los datos ya vendrán tokenizados? ¿Es porque el feature_extractor tiene propiedades que luego se usan en el trainer más que como referencia a cómo transformar los inputs?

Lina Marcela Malaver Gómez

Estudiante

Para solucionar el error:

ImportError: Using the `Trainer` with `PyTorch` requires `accelerate>=0.20.1`: Please run `pip install transformers[torch]` or `pip install accelerate -U`

Corri este comando:

!pip install 'transformers[torch]'

Luego reinicie Colab y funciono

Juan José Cano Duque

Estudiante

Si alguno está teniendo problemas con la versión de transformers, revisen este issue: https://github.com/huggingface/transformers/issues/22816

Ejecutar todo con una versión más baja de transformers fue la solución.

Luis Rogelio Reyes Hernandez

Estudiante

el dialogo de la sugerencia de documentación del colab es un poco molesto, sería mejor que el profesor lo esconda ya que a veces cuesta leer lo que escribe

Raul Ernesto Almao Alvarado

Estudiante

hola buenas noches, yo intente replicar este modelo, pero en uno de cats vs dogs de hugging face aqui le dejo el link https://huggingface.co/datasets/cats_vs_dogs/blob/main/dataset_infos.json , pero me dio este error a la hora de hacer el entrenamiento "Unsupported number of image dimensions: 2", me pueden ayudar? gracias y feliz noche

Luis Leonel Morin Cabrera

Estudiante

Una pregunta, no me queda algo claro, el modelo preentrenado que se uso para la clasificación, entendería que este modelo se entreno con un dataset similar, para que aprenda a diferenciar estas hojas, cierto ? no es como que puedo usar un modelo preentrenado que se hizo con perros y gatos, ¿cierto?. Muchas gracias

MARIA TERESA PANIAGUA RIVERA

Estudiante

Gracias

training_args = TrainingArguments(
    output_dir="https://huggingface.co/santiagoahl/vit_model",
    evaluation_strategy='steps',
    num_train_epochs=4,
    learning_rate=2e-4,
    remove_unused_columns=False,
    push_to_hub=True,
    load_best_model_at_end=True
)

!pip install virtualenv

# Crear un nuevo entorno virtual
!python3 -m virtualenv myenv

# Activar el entorno virtual
!source myenv/bin/activate

# Instalar las bibliotecas necesarias
!pip install transformers==4.30.2
!pip install accelerate==0.20.1

%%capture
!pip install evaluate

import numpy as np
import evaluate

metric = evaluate.load("accuracy")

def compute_metrics(pred):
  return metric.compute(predictions= np.argmax(pred.predictions, axis=1), references= pred.label_ids)

Introducción al Hub de Hugging Face

Introducción al transfer learning

Machine learning abierto para todo el mundo

Las tasks en machine learning

Primeros pasos con transfer learning y transformers

Tus primeros modelos pre-entrenados usando pipeline

Explorando los datasets

Introducción a los Transformers

Aplicando transfer learning

Computer vision

Carga de dataset para computer vision

Procesamiento de dataset para computer vision