No tienes acceso a esta clase

隆Contin煤a aprendiendo! 脷nete y comienza a potenciar tu carrera

Aprende Ingl茅s, Programaci贸n, AI, Ciberseguridad y m谩s a precio especial.

Antes: $249

Currency
$209
Suscr铆bete

Termina en:

2 D铆as
15 Hrs
2 Min
42 Seg

Introducci贸n a los Transformers

6/17
Recursos

Aportes 9

Preguntas 0

Ordenar por:

驴Quieres ver m谩s aportes, preguntas y respuestas de la comunidad?

Los transformers merecen un curso completo!

A grandes rasgos, los transformers son modelos especializados en detectar las formas en que los elementos de un dataset se influecian y se relacionan entre s铆. Con base en ello pueden explicar cosas como generar resumenes.

Recomiendo mucho este video donde explican muy bien que es un transformer: Las REDES NEURONALES ahora prestan ATENCI脫N! - TRANSFORMERS 驴C贸mo funcionan?

Introducci贸n a los Transformers

El presente y futuro proximo de machine learning

Transformers como GPT-3

existen para areas como

  • lenguaje
  • series de tiempo
  • Vision
  • Audio
  • Aprendizaje por refuerzo

驴Como funcionan?

Funcionan con la union de dos modelos un encoder que maneja el input y un decoder que da un output

El encoder y el decoder pueden funcionar como modelos separados, modelos que son solo Encoders y modelos que son solo Decoders

Encoder: Input

El encoder crea una abstracci贸n de los datos ingresados que entiende el modelo

Existen modelos que son 煤nicamente encoders como:

  • BERT
  • AKBERT
  • XLM
  • DistilBERT
  • RoBERTa

pueden hacer tasks como:

  • Clasificaci贸n de texto
  • Reconocimiento de entidades en el texto
  • Extracci贸n de preguntas y respuestas de un texto

Decoder: Output

En base a la informaci贸n abstra铆da se crea el output

Modelos decoders:

  • GPT-Neo & GPT-J
  • GPT, GPT-2, GPT-3, GPT-4
  • TransformerXL
  • CTRL

Pueden realizar tareas como

  • Generacion de texto

algunos modelos que son encoder-decoder o secuencia a secuencia

  • BART
  • T5

Algunas de las aplicaciones/tasks de los modelos encode decoder las cuales son tareas multimodales

  • Descripci贸n de im谩genes: en base a una imagen describe que hay en ella
  • Traducci贸n entre idiomas
  • Generacion de res煤menes
  • Generacion de im谩genes desde el texto

Crear estos modelos desde 0 es muy costoso y muy complicado para un individuo u organizaci贸n peque帽a, para eso usamos el transfer learning

Yo actualmente trabajo en NER cl铆nico con el formato de etiquetado BIO haciendo fine tuning con un modelo de unos espa帽oles 馃槃, vine a seguir aprendiendo de este maravilloso mundo de los transformers. 隆Me pone muy feliz que un Latino labore en Hugging face, super crack, Omar!

Transformers: BERT - AKBERT - XLM - DistilBERT - RoBERTa

BERT es un m茅todo que permite realizar un entrenamiento previo de representaciones ling眉铆sticas.

Lo acabo de saber!!

Gracias

Este curso cada vez se pone mejor 馃殌馃敟馃弲

Pregunto a chat GPT qu茅 es un transformer:

Un Transformer es una arquitectura de red neuronal que fue introducida en 2017 en el art铆culo 鈥淎ttention Is All You Need鈥 por Vaswani et al. A diferencia de las redes neuronales recurrentes (RNN) que procesan una secuencia de entrada de forma secuencial, los Transformers procesan toda la secuencia de entrada simult谩neamente utilizando mecanismos de atenci贸n.

En un Transformer, la entrada se transforma a trav茅s de m煤ltiples capas, cada una de las cuales consiste en dos subcapas: la capa de atenci贸n y la capa de alimentaci贸n hacia adelante. La capa de atenci贸n permite que el Transformer se centre en partes espec铆ficas de la entrada relevante para la tarea que est谩 realizando, mientras que la capa de alimentaci贸n hacia adelante proporciona una red neuronal cl谩sica que procesa la salida de la capa de atenci贸n.

Los Transformers se han utilizado en una amplia variedad de aplicaciones, incluyendo el procesamiento del lenguaje natural (NLP), la visi贸n por computadora y la generaci贸n de texto. La arquitectura ha demostrado ser muy efectiva para tareas de NLP, en particular para el modelado de lenguaje y la traducci贸n autom谩tica.