Configurando un Trainer para NLP
Contenido del curso
Primeros pasos con transfer learning y transformers
Computer vision
Procesamiento de lenguaje natural
Comparte en el Hub
Configurando un Trainer para NLP
Contenido del curso
Configurando un Trainer para NLP
Luis Rogelio Reyes Hernandez
EstudianteLuis Rogelio Reyes Hernandez
Estudiante
Julio César Alvarez Guillén
Estudiante
Diana Martinez
Estudiante
Guillermo Granda
Estudiante
Rafael Rivera
Estudiante
MARIA TERESA PANIAGUA RIVERA
Estudiante
Yimmy Cruz
EstudianteYimmy Cruz
Estudiante
Patricio Sánchez Fernández
EstudianteYimmy Cruz
EstudianteUsar push_to_hub_organization estará deprecado en el futuro, training_args debería declararse de la siguiente forma
training_args = TrainingArguments( output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes', hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes', evaluation_strategy='steps', num_train_epochs=3, push_to_hub=True, load_best_model_at_end=True, )
Si al declarar el training_args
les sale este error
NameError Traceback (most recent call last) <ipython-input-28-63a3f981c685> in <cell line: 3>() 1 from transformers import TrainingArguments 2 ----> 3 training_args = TrainingArguments( 4 output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes', 5 evaluation_strategy='steps', 4 frames /usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self) 1629 self._n_gpu = 1 1630 else: -> 1631 self.distributed_state = PartialState(backend=self.ddp_backend) 1632 self._n_gpu = 1 1633 if not is_sagemaker_mp_enabled(): NameError: name 'PartialState' is not defined
asegúrense de dos cosas
1 - que el Runtime actual en el que están corriendo es con GPU
2 - Instalar las librerías de transformer y accelerate de la siguiente forma
!pip install transformers==4.29.0 !pip install git+https://github.com/huggingface/accelerate
Si ya las tenían instaladas deben reiniciar el runtime e instalarlas de esta forma
Si tengo una base de datos, cómo hago para subirlo a Hugging Face?
Entras a: https://huggingface.co/new-dataset Llenas los datos y das click en crear, te llevará a una pantalla donde si entras a la sección "files", puedes ver que es prácticamente igual que en github, simplemente habilitas tu repositorio de git para que soporte archivos de gran tamaño y te aseguras de utilizar un formato de archivo compatible.
La documentación de datasets está aquí: https://huggingface.co/docs/datasets/index
En los training_args no se agregó el learning rate como se hizo con el modelo de visión. ¿No es necesario para modelos de NLP?
como sabemos cuantos epoc colocar ?
Gracias
Solo cambie la linea 3 para usar "distilrobert", ademas ya esta en el repositorio de la comunidad de platzi con mi nombre :) Mi codigo:
from transformers import TrainingArguments training_args = TrainingArguments( output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz", evaluation_strategy="steps", num_train_epochs=3, push_to_hub_organization="platzi", push_to_hub=True, load_best_model_at_end=True )
Esta parte tambien se tiene que cambiar el repo id
repo_id = "distilbert-base"
Felicitaciones, Yimmy...!
MIs resultados con roberta: Loss: 0.6381 Accuracy: 0.7034 F1: 0.8191