Configurando un Trainer para NLP

Clase 14 de 17 • Curso de Transfer Learning con Hugging Face

Luis Rogelio Reyes Hernandez

student•

Usar push_to_hub_organization estará deprecado en el futuro, training_args debería declararse de la siguiente forma

training_args = TrainingArguments(
    output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    evaluation_strategy='steps',
    num_train_epochs=3,
    push_to_hub=True,
    load_best_model_at_end=True,
)

Luis Rogelio Reyes Hernandez

student•

Si al declarar el training_args

les sale este error

NameError                                 Traceback (most recent call last)
<ipython-input-28-63a3f981c685> in <cell line: 3>()
      1 from transformers import TrainingArguments
      2 
----> 3 training_args = TrainingArguments(
      4     output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
      5     evaluation_strategy='steps',

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
   1629             self._n_gpu = 1
   1630         else:
-> 1631             self.distributed_state = PartialState(backend=self.ddp_backend)
   1632             self._n_gpu = 1
   1633         if not is_sagemaker_mp_enabled():

NameError: name 'PartialState' is not defined

asegúrense de dos cosas

1 - que el Runtime actual en el que están corriendo es con GPU

2 - Instalar las librerías de transformer y accelerate de la siguiente forma

!pip install transformers==4.29.0
!pip install git+https://github.com/huggingface/accelerate

Si ya las tenían instaladas deben reiniciar el runtime e instalarlas de esta forma

Julio César Alvarez Guillén

student•

Si tengo una base de datos, cómo hago para subirlo a Hugging Face?

Diana Martinez

student•

Entras a: https://huggingface.co/new-dataset Llenas los datos y das click en crear, te llevará a una pantalla donde si entras a la sección "files", puedes ver que es prácticamente igual que en github, simplemente habilitas tu repositorio de git para que soporte archivos de gran tamaño y te aseguras de utilizar un formato de archivo compatible.

La documentación de datasets está aquí: https://huggingface.co/docs/datasets/index

Guillermo Granda

student•

En los training_args no se agregó el learning rate como se hizo con el modelo de visión. ¿No es necesario para modelos de NLP?

Rafael Rivera

student•

como sabemos cuantos epoc colocar ?

MARIA TERESA PANIAGUA RIVERA

student•

Gracias

Yimmy Cruz

student•

Solo cambie la linea 3 para usar "distilrobert", ademas ya esta en el repositorio de la comunidad de platzi con mi nombre :) Mi codigo:

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz",
    evaluation_strategy="steps",
    num_train_epochs=3,
    push_to_hub_organization="platzi",
    push_to_hub=True,
    load_best_model_at_end=True
)

Yimmy Cruz

student•

Esta parte tambien se tiene que cambiar el repo id

repo_id = "distilbert-base"

Patricio Sánchez Fernández

student•

Felicitaciones, Yimmy...!

Yimmy Cruz

student•

MIs resultados con roberta: Loss: 0.6381 Accuracy: 0.7034 F1: 0.8191