Introducción a los Transformers
Clase 6 de 17 • Curso de Transfer Learning con Hugging Face
Contenido del curso
Ricardo Silva
student•
hace 3 años
Omar Uriel Espejel Díaz
teacher•
hace 3 años
Juan R. Vergara M.
student•
hace 3 años
Clase 6 de 17 • Curso de Transfer Learning con Hugging Face
Contenido del curso
Ricardo Silva
Omar Uriel Espejel Díaz
Juan R. Vergara M.
Santiago Ahumada Lozano
Santiago Restrepo
Luis Boivar
Maria Barrera
Omar Uriel Espejel Díaz
Luis Rogelio Reyes Hernandez
Rómulo Bañares Roca
Mauricio Combariza
Nicolas Velasquez Lopez
Diego Bustos Kehdy
MARIA TERESA PANIAGUA RIVERA
Juan R. Vergara M.
Los transformers merecen un curso completo!
Comenten en Twitter y etiqueten a @espejelomar! Sería excelente!
Oh sí totalmente de acuerdo 💡
A grandes rasgos, los transformers son modelos especializados en detectar las formas en que los elementos de un dataset se influecian y se relacionan entre sí. Con base en ello pueden explicar cosas como generar resumenes.
Recomiendo mucho este video donde explican muy bien que es un transformer: Las REDES NEURONALES ahora prestan ATENCIÓN! - TRANSFORMERS ¿Cómo funcionan?
Este otro video como continuacion: https://www.youtube.com/watch?v=xi94v_jl26U
Excelente aporte, los videos de esta canal son EXCELENTES.
que cool entender los transformers.
Yo actualmente trabajo en NER clínico con el formato de etiquetado BIO haciendo fine tuning con un modelo de unos españoles :D, vine a seguir aprendiendo de este maravilloso mundo de los transformers. ¡Me pone muy feliz que un Latino labore en Hugging face, super crack, Omar!
Muchas gracias María! Que interesante lo que haces. Te recomiendo seguir a @osanseviero en Twitter. Es un grande en Hugging Face! También latino.
Introducción a los Transformers
El presente y futuro proximo de machine learning
Transformers como GPT-3
existen para areas como
¿Como funcionan?
Funcionan con la union de dos modelos un encoder que maneja el input y un decoder que da un output
El encoder y el decoder pueden funcionar como modelos separados, modelos que son solo Encoders y modelos que son solo Decoders
Encoder: Input
El encoder crea una abstracción de los datos ingresados que entiende el modelo
Existen modelos que son únicamente encoders como:
pueden hacer tasks como:
Decoder: Output
En base a la información abstraída se crea el output
Modelos decoders:
Pueden realizar tareas como
algunos modelos que son encoder-decoder o secuencia a secuencia
Algunas de las aplicaciones/tasks de los modelos encode decoder las cuales son tareas multimodales
Crear estos modelos desde 0 es muy costoso y muy complicado para un individuo u organización pequeña, para eso usamos el transfer learning
Transformers: BERT - AKBERT - XLM - DistilBERT - RoBERTa
BERT es un método que permite realizar un entrenamiento previo de representaciones lingüísticas.
Lo acabo de saber!!
Pregunto a chat GPT qué es un transformer:
Un Transformer es una arquitectura de red neuronal que fue introducida en 2017 en el artículo "Attention Is All You Need" por Vaswani et al. A diferencia de las redes neuronales recurrentes (RNN) que procesan una secuencia de entrada de forma secuencial, los Transformers procesan toda la secuencia de entrada simultáneamente utilizando mecanismos de atención.
En un Transformer, la entrada se transforma a través de múltiples capas, cada una de las cuales consiste en dos subcapas: la capa de atención y la capa de alimentación hacia adelante. La capa de atención permite que el Transformer se centre en partes específicas de la entrada relevante para la tarea que está realizando, mientras que la capa de alimentación hacia adelante proporciona una red neuronal clásica que procesa la salida de la capa de atención.
Los Transformers se han utilizado en una amplia variedad de aplicaciones, incluyendo el procesamiento del lenguaje natural (NLP), la visión por computadora y la generación de texto. La arquitectura ha demostrado ser muy efectiva para tareas de NLP, en particular para el modelado de lenguaje y la traducción automática.
Vengo del futuro. Se puede usar Deepseek R1, desde Ollama !!!
Gracias
Este curso cada vez se pone mejor 🚀🔥🏅