Configurando un Trainer para NLP
Contenido del curso
Primeros pasos con transfer learning y transformers
Computer vision
Procesamiento de lenguaje natural
Comparte en el Hub
Configurando un Trainer para NLP
Contenido del curso
Configurando un Trainer para NLP
Usar push_to_hub_organization estará deprecado en el futuro, training_args debería declararse de la siguiente forma
training_args = TrainingArguments( output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes', hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes', evaluation_strategy='steps', num_train_epochs=3, push_to_hub=True, load_best_model_at_end=True, )
Si al declarar el training_args
les sale este error
NameError Traceback (most recent call last) <ipython-input-28-63a3f981c685> in <cell line: 3>() 1 from transformers import TrainingArguments 2 ----> 3 training_args = TrainingArguments( 4 output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes', 5 evaluation_strategy='steps', 4 frames /usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self) 1629 self._n_gpu = 1 1630 else: -> 1631 self.distributed_state = PartialState(backend=self.ddp_backend) 1632 self._n_gpu = 1 1633 if not is_sagemaker_mp_enabled(): NameError: name 'PartialState' is not defined
asegúrense de dos cosas
1 - que el Runtime actual en el que están corriendo es con GPU
2 - Instalar las librerías de transformer y accelerate de la siguiente forma
!pip install transformers==4.29.0 !pip install git+https://github.com/huggingface/accelerate
Si ya las tenían instaladas deben reiniciar el runtime e instalarlas de esta forma
Si tengo una base de datos, cómo hago para subirlo a Hugging Face?
Entras a: https://huggingface.co/new-dataset Llenas los datos y das click en crear, te llevará a una pantalla donde si entras a la sección "files", puedes ver que es prácticamente igual que en github, simplemente habilitas tu repositorio de git para que soporte archivos de gran tamaño y te aseguras de utilizar un formato de archivo compatible.
La documentación de datasets está aquí: https://huggingface.co/docs/datasets/index
En los training_args no se agregó el learning rate como se hizo con el modelo de visión. ¿No es necesario para modelos de NLP?
como sabemos cuantos epoc colocar ?
Gracias
Solo cambie la linea 3 para usar "distilrobert", ademas ya esta en el repositorio de la comunidad de platzi con mi nombre :) Mi codigo:
from transformers import TrainingArguments training_args = TrainingArguments( output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz", evaluation_strategy="steps", num_train_epochs=3, push_to_hub_organization="platzi", push_to_hub=True, load_best_model_at_end=True )
Esta parte tambien se tiene que cambiar el repo id
repo_id = "distilbert-base"
Felicitaciones, Yimmy...!
MIs resultados con roberta: Loss: 0.6381 Accuracy: 0.7034 F1: 0.8191