Configurando un Trainer para NLP

Clase 14 de 17 • Curso de Transfer Learning con Hugging Face

Luis Rogelio Reyes Hernandez

student•

Usar push_to_hub_organization estará deprecado en el futuro, training_args debería declararse de la siguiente forma

training_args = TrainingArguments(
    output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    evaluation_strategy='steps',
    num_train_epochs=3,
    push_to_hub=True,
    load_best_model_at_end=True,
)

Luis Rogelio Reyes Hernandez

student•

Si al declarar el training_args

les sale este error

NameError                                 Traceback (most recent call last)
<ipython-input-28-63a3f981c685> in <cell line: 3>()
      1 from transformers import TrainingArguments
      2 
----> 3 training_args = TrainingArguments(
      4     output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
      5     evaluation_strategy='steps',

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
   1629             self._n_gpu = 1
   1630         else:
-> 1631             self.distributed_state = PartialState(backend=self.ddp_backend)
   1632             self._n_gpu = 1
   1633         if not is_sagemaker_mp_enabled():

NameError: name 'PartialState' is not defined

asegúrense de dos cosas

1 - que el Runtime actual en el que están corriendo es con GPU

2 - Instalar las librerías de transformer y accelerate de la siguiente forma

!pip install transformers==4.29.0
!pip install git+https://github.com/huggingface/accelerate

Si ya las tenían instaladas deben reiniciar el runtime e instalarlas de esta forma

Julio César Alvarez Guillén

student•

Si tengo una base de datos, cómo hago para subirlo a Hugging Face?

Diana Martinez

student•

Entras a: https://huggingface.co/new-dataset Llenas los datos y das click en crear, te llevará a una pantalla donde si entras a la sección "files", puedes ver que es prácticamente igual que en github, simplemente habilitas tu repositorio de git para que soporte archivos de gran tamaño y te aseguras de utilizar un formato de archivo compatible.

La documentación de datasets está aquí: https://huggingface.co/docs/datasets/index

Guillermo Granda

student•

En los training_args no se agregó el learning rate como se hizo con el modelo de visión. ¿No es necesario para modelos de NLP?

Rafael Rivera

student•

como sabemos cuantos epoc colocar ?

MARIA TERESA PANIAGUA RIVERA

student•

Gracias

Yimmy Cruz

student•

Solo cambie la linea 3 para usar "distilrobert", ademas ya esta en el repositorio de la comunidad de platzi con mi nombre :) Mi codigo:

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz",
    evaluation_strategy="steps",
    num_train_epochs=3,
    push_to_hub_organization="platzi",
    push_to_hub=True,
    load_best_model_at_end=True
)

Yimmy Cruz

student•

Esta parte tambien se tiene que cambiar el repo id

repo_id = "distilbert-base"

Patricio Sánchez Fernández

student•

Felicitaciones, Yimmy...!

Yimmy Cruz

student•

MIs resultados con roberta: Loss: 0.6381 Accuracy: 0.7034 F1: 0.8191

training_args = TrainingArguments(
    output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    evaluation_strategy='steps',
    num_train_epochs=3,
    push_to_hub=True,
    load_best_model_at_end=True,
)

NameError                                 Traceback (most recent call last)
<ipython-input-28-63a3f981c685> in <cell line: 3>()
      1 from transformers import TrainingArguments
      2 
----> 3 training_args = TrainingArguments(
      4     output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
      5     evaluation_strategy='steps',

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
   1629             self._n_gpu = 1
   1630         else:
-> 1631             self.distributed_state = PartialState(backend=self.ddp_backend)
   1632             self._n_gpu = 1
   1633         if not is_sagemaker_mp_enabled():

NameError: name 'PartialState' is not defined

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz",
    evaluation_strategy="steps",
    num_train_epochs=3,
    push_to_hub_organization="platzi",
    push_to_hub=True,
    load_best_model_at_end=True
)

Configurando un Trainer para NLP

Introducción al Hub de Hugging Face

Introducción al transfer learning

Machine learning abierto para todo el mundo

Las tasks en machine learning

Primeros pasos con transfer learning y transformers

Tus primeros modelos pre-entrenados usando pipeline

Explorando los datasets

Introducción a los Transformers

Aplicando transfer learning

Computer vision

Carga de dataset para computer vision

Procesamiento de dataset para computer vision

Configurando un Trainer para computer vision

Entrenamiento y evaluación de modelo de computer vision

Procesamiento de lenguaje natural

Carga de dataset para NLP

Procesamiento de dataset para NLP

Configurando un Trainer para NLP

Entrenamiento y evaluación de modelo de NLP

Comparte en el Hub

El Hub como tu curriculum para machine learning

Compartir tu modelo en el Hub de Hugging Face