No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Procesamiento de datos: preparación del DataLoader()

14/24
Recursos

Aportes 2

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

```python device = torch.device( "cuda" if torch.cuda.is_available() else "cpu") #cambiar de cpu a gpu de forma manual #Batch de textos 8 def collate_batch(batch): label_list=[] #etiqueta text_list=[] # textos batch offsets=[0] # posicion de incio for (_label, _text) in batch: label_list.append(label_pipeline(_label)) processed_text = torch.tensor(texto_pipeline(_text),dtype=torch.int64) text_list.append(processed_text) offsets.apped(processed_text.size(0)) label_list = torch.tensor(label_list, dtype=torch.int64) offsets = torch.tensor(offsets[:-1]).cumsum(dim=0) #delimite text_list = torch.cat(text_list) return label_list.to(device), text_list.to(device), offsets.to(device) ```device = torch.device( "cuda" if torch.cuda.is\_available() else "cpu") #cambiar de cpu a gpu de forma manual#Batch de textos 8def collate\_batch(batch):  label\_list=\[]   #etiqueta  text\_list=\[]    # textos batch  offsets=\[0]     # posicion de incio    for (\_label, \_text) in batch:    label\_list.append(label\_pipeline(\_label))    processed\_text = torch.tensor(texto\_pipeline(\_text),dtype=torch.int64)    text\_list.append(processed\_text)    offsets.apped(processed\_text.size(0))   label\_list = torch.tensor(label\_list, dtype=torch.int64)  offsets = torch.tensor(offsets\[:-1]).cumsum(dim=0) #delimite  text\_list = torch.cat(text\_list)  return label\_list.to(device), text\_list.to(device), offsets.to(device)
🤔 el loop de `collate_batch` en list comprehension, quizas solo sea necesario definir la lista `offsets` antes `label_list = [label_pipeline(_label) for _label, _text in batch]` `text_list = [torch.tensor(texto_pipeline(_text), dtype=torch.int64) for _label, _text in batch]` `offsets = [processed_text.size(0) for processed_text in text_list]`