Construye GPT-2 desde cero con PyTorch

Contenido del curso

Fundamentos de los LLMs

Componentes Avanzandos de los LLMs

Personalización y Optimización

Evaluación de Modelos

20
Benchmarks para evaluar y comparar modelos LLM
12:53 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0023:52

Construye GPT-2 desde cero con PyTorch

Curso de Fundamentos de LLMs

Clase 8 de 20

Clase 8 / 20

Recursos

Construir tu propio GPT-2 desde cero en Python con PyTorch deja de ser un misterio cuando entiendes cómo cada bloque de la arquitectura se traduce en código ejecutable. Aquí verás, paso a paso, cómo armar el modelo en Google Colab usando GPU, cargar los pesos preentrenados y generar texto real.

Esta guía es para quienes ya conocen la teoría de transformers y quieren ver la implementación concreta: capas de atención, feed forward, layer norm y el ensamble final del modelo de 124 millones de parámetros aproximadamente.

Cómo preparar el entorno en Google Colab con GPU T4

Antes de escribir código, necesitas el hardware correcto. En Colab, vas a Recursos, luego a Cambiar tipo de entorno de ejecución y seleccionas GPU T4 [0:14]. Esto acelera el entrenamiento y la inferencia frente a una CPU.

Luego instalas tres librerías base: annox, xformers y np, que aportan utilidades para programar transformers [0:38]. Después importas torch y numpy, junto con módulos específicos como LayerNorm, que ya viste en la arquitectura de GPT-2.

Para confirmar que estás usando la tarjeta gráfica, ejecutas torch.device y debe responder CUDA [1:18]. Si te aparece cpu, revisa la configuración del entorno.

¿Qué es CUDA en PyTorch? Es la plataforma de NVIDIA que permite a PyTorch ejecutar operaciones sobre la GPU en lugar de la CPU. Si tu device es CUDA, tu modelo correrá mucho más rápido.

Qué bloques componen la arquitectura de GPT-2

GPT-2 se construye apilando piezas que ya viste en la teoría: una red feed forward, un bloque de atención multi-head, normalizaciones y la repetición del transformer 12 veces.

Cómo se programa la feed forward

La feed forward es una red neuronal clásica con dos capas de convolución, una función de activación GELU y un dropout [2:22]. El dropout existe para que la red no sobreaprenda y no memorice solo los datos de entrenamiento; aquí se inicializa en 0.1, un valor bajo pero efectivo.

Dentro de cualquier módulo de PyTorch siempre defines una función forward, que es la que se ejecuta al llamar al módulo. La función backward, que calcula derivadas para el entrenamiento, la genera PyTorch automáticamente gracias a nn.Module [3:01].

También aparece la convolución 1D, una pieza más de ingeniería que optimiza el uso de la tarjeta gráfica. Notarás que hay una conv1d al inicio y otra al final del bloque de atención: la primera transforma la matriz a una forma específica y la segunda la regresa a su forma original [6:43].

Cómo funciona el bloque de atención multi head

Este es el corazón de GPT-2. La clase de atención recibe varios parámetros clave:

dmodel: dimensión de entrada, en este caso 768, que corresponde al tamaño del embedding [4:31].
head: cantidad de cabezas de atención, por default 12 [5:00].
d_head: dimensión de salida de cada cabeza, en este caso 64 [5:32].
bias: booleano que decide si aplicar sesgo.
scale: booleano que decide si dividir por la raíz cuadrada de d sub k para estabilidad numérica [5:42].

La función _attention recibe los tres vectores que ya conoces: Q (query), K (keys) y V (values). El primer paso es multiplicar Q por la transpuesta de K usando torch.matmul [8:25]. La transpuesta solo cambia la forma de la matriz: una matriz uno por dos pasa a dos por uno.

Después aplicas la función softmax, que comprime valores grandes a un rango entre -1 y 1, luego el dropout, y al final multiplicas por V para obtener la salida [10:00]. Ese resultado te dice cómo modificar los embeddings para guardar información contextual.

¿Para qué sirve splitheads en multi head attention? Divide el trabajo de las cabezas en batches para paralelizarlo en la GPU. Si tienes que procesar mucha información y no cabe en una sola tarjeta, repartes la carga entre varios procesos.

Cómo ensamblar el transformer block y el modelo completo

El transformer block es la combinación más sencilla del proyecto. Recibe los parámetros, instancia la atención con dmodel=768 y bias=True, agrega la feed forward y dos capas de normalización [11:30].

En la función forward ves cómo encaja todo el diagrama: el input X entra a la multi-head attention, se le aplica un layer norm, luego una feed forward y otra normalización. La teoría visual de la clase anterior se traduce línea por línea aquí.

Por qué GPT-2 usa 12 transformers apilados

El modelo GPT-2 recibe estos parámetros principales:

layers: número de transformers apilados, en este caso 12 [12:34].
contexto: ventana de 1024 tokens, que define cuántos tokens del pasado puede ver el modelo para entender una palabra [13:08].
dmodel: 768 dimensiones por embedding.
vocabulary_size: 50.257 palabras distintas en el dataset de entrenamiento [13:31].

La función get_clones que creaste al inicio te permite duplicar el bloque transformer 12 veces sin escribirlo a mano. Después se añaden los embeddings WTE y WPE (que traducen la respuesta de las atenciones), un dropout, una layer norm y una capa lineal final que decide cuál de las 50.257 palabras es la siguiente [14:00].

La función de pérdida es la que entrena el modelo: calcula qué tan lejos está la predicción del valor real y actualiza las matrices de pesos de queries, keys y values. La función init_weights inicializa esas matrices con una distribución uniforme [14:46].

¿Qué es la ventana de contexto en GPT-2? Es el máximo de tokens pasados que el modelo puede leer para predecir el siguiente. GPT-2 fue entrenado para 1024 tokens; GPT-3 amplía esto y suma más capas (96 en lugar de 12).

Cómo cargar pesos preentrenados y generar texto

Una vez programado el modelo, importas el GPT Tokenizer y descargas los pesos preentrenados de GPT-2, que son de código abierto [15:38]. Cargas esos pesos binarios al modelo, actualizas los estados y verificas que la arquitectura compile correctamente: deberías ver el module list con los 12 transformers, los embeddings, el dropout, la layer norm, la capa lineal y la cross entropy.

Para medir el tamaño del modelo, sumas los parámetros con num_elements y los traduces a bytes asumiendo float16 (4 bytes). El resultado es 474 MB, lo bastante ligero para correr incluso en un teléfono móvil [16:48].

La generación de texto usa un for loop dentro de la función generate: toma un token, lo ejecuta, lo agrega al contexto y vuelve a ejecutar. Con el prompt The planet Earth is y 40 tokens, el modelo tarda 7.6 segundos en GPU T4 y produce una continuación coherente como The planet Earth is a beautiful place that... [17:52].

Recuerda que cada token no equivale a una palabra completa: a veces son subwords. Y el modelo está entrenado en inglés, así que los resultados en español serán pobres.

Ahora te toca a ti. Cambia el número de capas a 96 para simular GPT-3, ajusta el dropout, prueba activar scale=True o aumenta los tokens generados. ¿Qué resultados obtuviste? Cuéntame en los comentarios cómo modificarías la máscara de atención que dejé como Easter egg.

Comentarios (52)52 comentarios

Daniel Hernandez

Hace un año

Una opinión personal que tengo es que el mecanismo de atención debería demandar un solo curso completo, y lo más probable es que personas que quieran ver este curso no quieran saber más de LLMs. Por eso quiero compartir estos vídeos que me ayudaron a entender mucho mejor:

Transformadores:

Mecanismo de atención:

Por último, aprender esto toma tiempo y requiere conocimiento de cálculo y álgebra lineal y la complejidad que hay detrás de esto es lo mismo que lo hace tan fascinante. Ánimo!

Adrian Campos

Gracias, es un buen contenido y bien explicado

Raul Leon

Excelente aportación, Daniel, gracias por compartir

Ikal Esteban Fernández Galván

Hay un error debido a nuevas versiones de torch y numpy pero se soluciona muy fácil:

En el pip install hay que añadir "torch==2.6.0" para instalar una versión anterior de torch que si es compatible.

!pip install einops xformers np torch==2.6.0

En los imports lo que ocurre es que alias de "np" ya no es valido para importar, hay que hacer lo siguiente:

import numpy as np

Diego Ortiz

Me parece absurdo que este sea el curso que más promueven y aquí empezando no hayan arreglado o informado eso en 3 meses 🙁

Alamo Avila

Hace 3 meses

Excelente, me funciono!

Luis Sandoval

Hola comunidad. Comparto el collab que he ido escribiendo siguiendo la clase del profe.

Profe el Google Collap no está publico, solicita acceso.

Jhon Carvajal

Team Platzi

Ya está disponible Luis. Lamentamos el inconveniente

NESTOR IVAN RONCANCIO CABALLERO

Hace 9 meses

Brenda Iliana Gallegos López

😂

Renato Giron

Hace 9 días

Mauricio Martínez Orjuela

3:17 Aporto este video para el teme de CONVOLUCIÓN del canal de YouTube 1blue3brown

https://youtu.be/KuXjwB4LzSA?si=zJ2r-NxvwxQxL2bV

Julen Uribarren

Hace 10 meses

Maravilloso recurso. Gracias por compartir!

Angel Portillo

He notado que en la pregunta “¿Cuál es la función principal de los tokens en un modelo de lenguaje?” la respuesta marcada como correcta en la plataforma es “Identificar la correlación entre palabras”.

Sin embargo, esto no es del todo preciso desde un punto de vista técnico:

La función de los tokens es descomponer el texto en unidades manejables (palabras, subpalabras o caracteres) y asignarles identificadores numéricos para que el modelo pueda procesarlos.
La correlación entre palabras no la realizan los tokens en sí, sino el modelo a través de embeddings y mecanismos de atención que trabajan sobre esos tokens ya convertidos en vectores.

Por lo tanto, la respuesta más correcta debería ser la que refleje que los tokens representan el texto en forma numérica, mientras que la correlación se aprende en etapas posteriores del modelo.

Sugiero revisar la formulación de esta pregunta para evitar confusiones, ya que mezcla dos conceptos distintos: el papel de los tokens y el funcionamiento del mecanismo de atención.

Diego Vargas

estoy de acuerdo, la función de los tokens no es identificar correlaciones

Luis Rebollo

Hace 8 meses•editado

Por si les aparece el error con el import np:

AttributeError: `np.float_` was removed in the NumPy 2.0 release. Use `np.float64` instead.

el fix es:

Miguel Angel Otero Otero

Cambiar la matriz es crucial en el contexto de redes neuronales y modelos de lenguajes, especialmente en sistemas como GPT. Esto se hace para adaptar la forma de los datos a las necesidades del algoritmo, como cuando se utiliza la transposición de matrices para la multiplicación. La función de atención en modelos de lenguaje, como se describe en el transcript, utiliza esta técnica para calcular relaciones entre palabras. Modificar matrices permite una manipulación eficiente de los datos, optimizando el proceso de aprendizaje y mejorando el rendimiento del modelo.

Edwin yamid Castillo Riapira

Hace 8 meses

la verdad todo es demasiado nuevo para mi

Esteban Patiño

LLM (Large Language Model): Un modelo de lenguaje que ha sido entrenado con grandes volúmenes de texto para entender y generar lenguaje humano.
Tokenización: Proceso de dividir texto en unidades más pequeñas, llamadas tokens, que pueden ser palabras, subpalabras o caracteres.
Embeddings: Representaciones numéricas de palabras o tokens en un espacio vectorial, permitiendo que la máquina entienda el significado de las palabras en contexto.
Transformer: Tipo de arquitectura de red neuronal que utiliza mecanismos de atención para procesar datos secuenciales, como texto.
Atención Multicabeza: Mecanismo en transformers que permite al modelo enfocarse en diferentes partes de una secuencia de entrada simultáneamente.
Fine-tuning: Ajuste de un modelo preentrenado en un conjunto de datos específico para mejorar su rendimiento en tareas particulares.
Cuantización: Proceso de reducir la precisión de los números en un modelo para disminuir su tamaño y acelerar su ejecución sin perder mucha calidad en el desempeño.
Benchmarks: Métodos de evaluación que permiten medir y comparar el desempeño de modelos de lenguaje.

Juan Diego Ussa Aponte

Hace 6 meses

Me vi un tutorial basico de crear una red neuronal para resolver un problema tipico: (Dura 27 mins)

Este video me ayudo a entender de manera general la estrucutra para crear una red neuronal y ademas se explica un poco mas a detalle el funcionamiento linea a linea

Andrés Ricardo Cristancho Jiménez

Hace 5 meses

Mil gracias por el resumen, me confunde aún ese tema de funciones pero me gusta esta explicación metafórica

DANIEL ALEXIS NIETO MORA

Creo que se podrían ampliar ciertos conceptos sin ir al detalle matemático. Hay explicaciones que son realmente superficiales para un curso como este. Por más que se quiera hay cosas matemáticas que son difíciles de omitir para poder entender todo a profundidad como se espera de una plataforma como platzi.

Jaja tal cual, ando más perdido.

EDWING ALFONSO ARENAS RUEDA

comparto con la comunidad de que tengan cuidado con el conflicto que hay entre np, la version de numpy y la version de torch, la verdad es un script que hay que desmenuzar con pinzas, pero es un excelente punto de partida para entender como trabaja esta arquitectura LLms

Henry Stivens Adarme Muñoz

Si, no he terminado aun de ejecutar todo lo del archivo GPT2.ipynb pero me salio el siguiente error;

AttributeError Traceback (most recent call last) /tmp/ipython-input-4272069470.py in <cell line: 0>() ----> 1 import np 2 import torch 3 import torch.nn as nn 4 import torch.nn.functional as F 5 from torch.nn.modules import ModuleList 3 frames /usr/local/lib/python3.12/dist-packages/numpy/__init__.py in __getattr__(attr) 395 396 if attr in __expired_attributes__: --> 397 raise AttributeError( 398 f"np.{attr} was removed in the NumPy 2.0 release. " 399 f"{__expired_attributes__[attr]}" AttributeError: np.float_ was removed in the NumPy 2.0 release. Use np.float64 instead.

Lo que hice fue cambiar el import:

Vamos a ver si funciona el código que sigue.

nd, ns =scores.size(-2),scores.size(-1)

Esta línea de código lo que hace simplemente es obtener las últimas dos dimensiones del tensor de atttention.

Por lo tanto, nd sería igual a el número de q (query) posiciones Mientras que ns sería igual a el número de k/v (key/value) posiciones.

Esto se utiliza en el mask, que es básicamente la forma en la que el token/palabra actual mientras se entrena pueda ver solamente tokens/palabras anteriores y no haga trampa mirando las palabras que están adelante de él a la hora de predecir

miguel sanchez

Hace 24 días

esta demsiado avanzado este curso no creo poder llevarlo por ahora pero si me gusta mucho

Andrés Muñoz

Construir un GPT-2 es, en esencia, diseñar un sistema de atención selectiva. Usando la analogía del vuelo:

La Atención (Multi-head): Es el radar del dron. No mira todo el paisaje con la misma importancia; decide ignorar las nubes y enfocarse solo en los obstáculos y el destino. El modelo hace lo mismo: elige qué palabras del pasado son vitales para predecir el futuro.
Layer Norm & Dropout: Son los amortiguadores y el margen de error. La normalización mantiene el vuelo estable frente a turbulencias de datos, y el dropout asegura que el sistema no se vuelva dependiente de una sola hélice, obligándolo a ser robusto.
El Tokenizer: Es el plan de vuelo. Traduce la intención (lenguaje) en coordenadas que la máquina puede ejecutar.

Implementarlo en Colab con GPU no es solo una ventaja técnica; es pasar de observar el vuelo desde tierra a estar dentro de la cabina, viendo cómo cada "capa" de la red neuronal procesa la realidad para generar coherencia a partir del caos.

FERNANDO OROZCO

Hace 3 meses•editado

Come on man, en el minuto 15:00 lee el codigo de izquierda a derecha sin tener en cuenta los parentesis, algo que es super basico, con razon el curso es tan confuso.

Las partes mas importantes las "explica" de volada y despues te ponen una animacion de la matriz transpuesta, que carajos me importa eso.

Fundamentos de los LLMs

Funcionamiento interno de los grandes modelos de lenguaje

Qué construirás al terminar el curso de LLMs

Historia de la inteligencia artificial desde Turing hasta GPT-4

Tokenización y embeddings en LLMs

Qué es y cómo aprende un MLP

Cómo funciona la atención en GPT-2

Fundamentos de PyTorch para modelos de machine learning

Componentes Avanzandos de los LLMs

Construye GPT-2 desde cero con PyTorch

Qué es RoPE y cómo mejora GPT

Integración de Rope en GPT-2 con PyTorch

Leyes de escalado y modelos multimodales en inteligencia artificial

Cómo se entrena un LLM paso a paso

Mixture of Experts: cómo funciona MoE

RAM y VRAM para ejecutar LLMs en local

Instalación de Olama y configuración de clúster local con ExoLabs

Personalización y Optimización

Fine tuning de GPT-4o con datos propios

Fine Tuning con LoRA en Colab gratis

Despliegue de modelos fine-tuned con Hugging Face Endpoints

Cómo funciona la cuantización de LLMs

Evaluación de Modelos

Benchmarks para evaluar y comparar modelos LLM

Construye GPT-2 desde cero con PyTorch

Progreso del curso

Fundamentos de los LLMs

Componentes Avanzandos de los LLMs

Personalización y Optimización

Evaluación de Modelos

Recursos

Recursos