Configurando un Trainer para NLP

Curso de Transfer Learning con Hugging Face

Contenido del curso

Introducción al Hub de Hugging Face

Primeros pasos con transfer learning y transformers

Computer vision

Procesamiento de lenguaje natural

Comparte en el Hub

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0014:06

Configurando un Trainer para NLP

Curso de Transfer Learning con Hugging Face

Clase 14 de 17

Clase 14 / 17

Comentarios (8)8 comentarios

Luis Rogelio Reyes Hernandez

Hace 3 años

Usar push_to_hub_organization estará deprecado en el futuro, training_args debería declararse de la siguiente forma

training_args = TrainingArguments(
    output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    evaluation_strategy='steps',
    num_train_epochs=3,
    push_to_hub=True,
    load_best_model_at_end=True,
)

Luis Rogelio Reyes Hernandez

Hace 3 años

Si al declarar el training_args

les sale este error

NameError                                 Traceback (most recent call last)
<ipython-input-28-63a3f981c685> in <cell line: 3>()
      1 from transformers import TrainingArguments
      2 
----> 3 training_args = TrainingArguments(
      4     output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
      5     evaluation_strategy='steps',

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
   1629             self._n_gpu = 1
   1630         else:
-> 1631             self.distributed_state = PartialState(backend=self.ddp_backend)
   1632             self._n_gpu = 1
   1633         if not is_sagemaker_mp_enabled():

NameError: name 'PartialState' is not defined

asegúrense de dos cosas

1 - que el Runtime actual en el que están corriendo es con GPU

2 - Instalar las librerías de transformer y accelerate de la siguiente forma

!pip install transformers==4.29.0
!pip install git+https://github.com/huggingface/accelerate

Si ya las tenían instaladas deben reiniciar el runtime e instalarlas de esta forma

Julio César Alvarez Guillén

Hace 4 años

Si tengo una base de datos, cómo hago para subirlo a Hugging Face?

Diana Martinez

Hace 4 años

Entras a: https://huggingface.co/new-dataset Llenas los datos y das click en crear, te llevará a una pantalla donde si entras a la sección "files", puedes ver que es prácticamente igual que en github, simplemente habilitas tu repositorio de git para que soporte archivos de gran tamaño y te aseguras de utilizar un formato de archivo compatible.

La documentación de datasets está aquí: https://huggingface.co/docs/datasets/index

Guillermo Granda

Hace 4 años

En los training_args no se agregó el learning rate como se hizo con el modelo de visión. ¿No es necesario para modelos de NLP?

Rafael Rivera

Hace 3 años

como sabemos cuantos epoc colocar ?

MARIA TERESA PANIAGUA RIVERA

Hace 3 años

Gracias

Yimmy Cruz

Hace 3 años

Solo cambie la linea 3 para usar "distilrobert", ademas ya esta en el repositorio de la comunidad de platzi con mi nombre :) Mi codigo:

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz",
    evaluation_strategy="steps",
    num_train_epochs=3,
    push_to_hub_organization="platzi",
    push_to_hub=True,
    load_best_model_at_end=True
)

Yimmy Cruz

Hace 3 años

Esta parte tambien se tiene que cambiar el repo id

repo_id = "distilbert-base"

Patricio Sánchez Fernández

Hace 3 años

Felicitaciones, Yimmy...!

Yimmy Cruz

Hace 3 años

MIs resultados con roberta: Loss: 0.6381 Accuracy: 0.7034 F1: 0.8191

training_args = TrainingArguments(
    output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    hub_model_id='platzi/platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
    evaluation_strategy='steps',
    num_train_epochs=3,
    push_to_hub=True,
    load_best_model_at_end=True,
)

NameError                                 Traceback (most recent call last)
<ipython-input-28-63a3f981c685> in <cell line: 3>()
      1 from transformers import TrainingArguments
      2 
----> 3 training_args = TrainingArguments(
      4     output_dir='./platzi-distilroberta-base-mrpc-glue-luis-rogelio-reyes',
      5     evaluation_strategy='steps',

4 frames
/usr/local/lib/python3.10/dist-packages/transformers/training_args.py in _setup_devices(self)
   1629             self._n_gpu = 1
   1630         else:
-> 1631             self.distributed_state = PartialState(backend=self.ddp_backend)
   1632             self._n_gpu = 1
   1633         if not is_sagemaker_mp_enabled():

NameError: name 'PartialState' is not defined

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir = "./platzi-distilbert-base-uncased-mrpc-glue-yimmy-cruz",
    evaluation_strategy="steps",
    num_train_epochs=3,
    push_to_hub_organization="platzi",
    push_to_hub=True,
    load_best_model_at_end=True
)

Introducción al Hub de Hugging Face

Introducción al transfer learning

Machine learning abierto para todo el mundo

Las tasks en machine learning

Primeros pasos con transfer learning y transformers

Tus primeros modelos pre-entrenados usando pipeline

Explorando los datasets

Introducción a los Transformers

Aplicando transfer learning

Computer vision

Carga de dataset para computer vision

Procesamiento de dataset para computer vision

Configurando un Trainer para computer vision

Entrenamiento y evaluación de modelo de computer vision

Procesamiento de lenguaje natural

Carga de dataset para NLP

Procesamiento de dataset para NLP

Configurando un Trainer para NLP

Entrenamiento y evaluación de modelo de NLP

Comparte en el Hub

El Hub como tu curriculum para machine learning

Compartir tu modelo en el Hub de Hugging Face

Configurando un Trainer para NLP

Progreso del curso

Introducción al Hub de Hugging Face

Primeros pasos con transfer learning y transformers

Computer vision

Procesamiento de lenguaje natural

Comparte en el Hub