Comparto este video de DotCSV que creo presenta una mirada general más clara de la codificación posicional y se complementa muy bien con esta clase:
En paralelo también comparto un artículo complementario que me ayudó:
Los transformers tienen un punto ciego: por diseño no saben en qué parte de la secuencia está cada token. Aquí entra RoPE (Rotary Position Encoding), una técnica que codifica la posición directamente dentro del embedding y que se volvió clave para escalar grandes modelos de lenguaje en los últimos cinco años.
Si entrenas o estudias arquitecturas tipo GPT, entender RoPE te ayuda a ver por qué un modelo aprende más rápido y con menos cómputo cuando sabe dónde está cada palabra.
¿Por qué los transformers necesitan codificar la posición de los tokens?
Un transformer puro trata todos los tokens como si flotaran sin orden. Para él, la distancia entre la posición 1 y la 2 pesa igual que entre la 1 y la 500.
Eso tiene dos consecuencias directas:
Piensa en la frase "hola, ¿cómo estás?". Sin información posicional, el modelo no distingue bien qué token va primero ni cómo se relacionan en orden. Y aquí viene lo interesante: RoPE resuelve esto sin agregar capas nuevas, solo rotando los vectores.
¿Qué es RoPE en pocas palabras? Es Rotary Position Encoding, una técnica que guarda la posición de cada token dentro del ángulo de su embedding, rotándolo en el espacio vectorial [01:00].
¿Cómo funciona RoPE rotando los embeddings?
Imagina el embedding de la palabra perro graficado en un espacio bidimensional. Ese vector tiene una propiedad clave: el ángulo que forma contra el eje X. RoPE usa exactamente ese ángulo para guardar información posicional [01:30].
El ángulo theta como información de posición
Si tu secuencia es solo "perro", el vector queda en su posición original. Si la secuencia es "el perro", el embedding de perro se mueve un ángulo theta porque ahora ocupa la segunda posición.
Y si tienes "había una vez el perro", el vector se rota N veces theta, donde N es la cantidad de tokens que están antes de la palabra perro [02:30].
Theta no es un número fijo. Igual que las matrices de queries, keys y values en el mecanismo de atención, theta se aprende durante el entrenamiento del modelo.
Por qué se preserva la distancia entre tokens
Una propiedad importante de RoPE es que mantiene la separación relativa entre tokens en el espacio de embeddings. Como cada token comparte la lógica del ángulo theta, la posición relativa entre ellos no se rompe: solo rotamos y codificamos información, no destruimos el espacio original.
Eso sí, esta propiedad solo se conserva si la distancia entre los tokens en la secuencia es la misma. Si en "el perro no le gusta el gato" cambias la cantidad de tokens entre perro y gato, el espacio cambia y el modelo necesitaría reentrenarse [05:00].
¿Cómo se calcula RoPE en la práctica?
En la teoría, RoPE multiplica una matriz de rotación por el vector del token y luego por las matrices de queries y keys del mecanismo de atención. La matriz de rotación es un objeto clásico del álgebra lineal y usa funciones de coseno y seno, con la forma coseno, menos seno, seno, coseno [05:40].
¿Por qué RoPE usa seno y coseno? Porque son las funciones base de una matriz de rotación en álgebra lineal, lo que permite girar un vector un ángulo exacto sin deformarlo.
Del vector de dos dimensiones a embeddings reales
Los embeddings reales en GPT no tienen dos dimensiones, tienen cientos o miles. RoPE asume por defecto un número par de dimensiones y parte el embedding en parejas de dos. Cada pareja recibe su propio valor theta, también aprendido durante el entrenamiento [06:30].
Luego se aplica la matriz de rotación de dos en dos hasta cubrir todo el vector y obtener la nueva posición codificada.
El truco de ingeniería: vectores en lugar de matrices
Construir esa matriz gigante en producción cuesta mucha memoria y CPU. La solución de ingeniería fue elegante:
Así cambias una multiplicación de matrices pesada por operaciones vectoriales mucho más livianas [07:30].
Y hay un detalle importante que conecta con el mecanismo de atención: a mayor producto punto entre dos vectores, más cerca están. RoPE aprovecha esa lógica para que el transformer sepa qué tan lejos está un token de otro dentro de la secuencia [08:30].
¿Qué impacto tiene RoPE en el entrenamiento de GPT?
Cuando implementas RoPE, el loss, que es la métrica de pérdida que mide qué tan bueno es tu modelo, decae mucho más rápido en cada paso de entrenamiento. Un loss que baja rápido significa que el modelo está aprendiendo más en menos pasos [09:00].
Eso se traduce en menos horas de cómputo, menos costo y modelos que escalan mejor. Por eso RoPE se volvió un estándar en arquitecturas modernas tipo GPT.
Si quieres ver el efecto antes de programarlo, prueba un visualizador interactivo de Rotary Embeddings y juega con distintos tokens. ¿En qué parte de tu propio modelo crees que RoPE haría la mayor diferencia? Cuéntamelo en los comentarios.
Los transformers tienen un punto ciego: por diseño no saben en qué parte de la secuencia está cada token. Aquí entra RoPE (Rotary Position Encoding), una técnica que codifica la posición directamente dentro del embedding y que se volvió clave para escalar grandes modelos de lenguaje en los últimos cinco años.
Si entrenas o estudias arquitecturas tipo GPT, entender RoPE te ayuda a ver por qué un modelo aprende más rápido y con menos cómputo cuando sabe dónde está cada palabra.
Un transformer puro trata todos los tokens como si flotaran sin orden. Para él, la distancia entre la posición 1 y la 2 pesa igual que entre la 1 y la 500.
Eso tiene dos consecuencias directas:
Piensa en la frase "hola, ¿cómo estás?". Sin información posicional, el modelo no distingue bien qué token va primero ni cómo se relacionan en orden. Y aquí viene lo interesante: RoPE resuelve esto sin agregar capas nuevas, solo rotando los vectores.
¿Qué es RoPE en pocas palabras? Es Rotary Position Encoding, una técnica que guarda la posición de cada token dentro del ángulo de su embedding, rotándolo en el espacio vectorial [01:00].
Imagina el embedding de la palabra perro graficado en un espacio bidimensional. Ese vector tiene una propiedad clave: el ángulo que forma contra el eje X. RoPE usa exactamente ese ángulo para guardar información posicional [01:30].
Si tu secuencia es solo "perro", el vector queda en su posición original. Si la secuencia es "el perro", el embedding de perro se mueve un ángulo theta porque ahora ocupa la segunda posición.
Y si tienes "había una vez el perro", el vector se rota N veces theta, donde N es la cantidad de tokens que están antes de la palabra perro [02:30].
Theta no es un número fijo. Igual que las matrices de queries, keys y values en el mecanismo de atención, theta se aprende durante el entrenamiento del modelo.
Una propiedad importante de RoPE es que mantiene la separación relativa entre tokens en el espacio de embeddings. Como cada token comparte la lógica del ángulo theta, la posición relativa entre ellos no se rompe: solo rotamos y codificamos información, no destruimos el espacio original.
Eso sí, esta propiedad solo se conserva si la distancia entre los tokens en la secuencia es la misma. Si en "el perro no le gusta el gato" cambias la cantidad de tokens entre perro y gato, el espacio cambia y el modelo necesitaría reentrenarse [05:00].
En la teoría, RoPE multiplica una matriz de rotación por el vector del token y luego por las matrices de queries y keys del mecanismo de atención. La matriz de rotación es un objeto clásico del álgebra lineal y usa funciones de coseno y seno, con la forma coseno, menos seno, seno, coseno [05:40].
¿Por qué RoPE usa seno y coseno? Porque son las funciones base de una matriz de rotación en álgebra lineal, lo que permite girar un vector un ángulo exacto sin deformarlo.
Los embeddings reales en GPT no tienen dos dimensiones, tienen cientos o miles. RoPE asume por defecto un número par de dimensiones y parte el embedding en parejas de dos. Cada pareja recibe su propio valor theta, también aprendido durante el entrenamiento [06:30].
Luego se aplica la matriz de rotación de dos en dos hasta cubrir todo el vector y obtener la nueva posición codificada.
Construir esa matriz gigante en producción cuesta mucha memoria y CPU. La solución de ingeniería fue elegante:
Así cambias una multiplicación de matrices pesada por operaciones vectoriales mucho más livianas [07:30].
Y hay un detalle importante que conecta con el mecanismo de atención: a mayor producto punto entre dos vectores, más cerca están. RoPE aprovecha esa lógica para que el transformer sepa qué tan lejos está un token de otro dentro de la secuencia [08:30].
Cuando implementas RoPE, el loss, que es la métrica de pérdida que mide qué tan bueno es tu modelo, decae mucho más rápido en cada paso de entrenamiento. Un loss que baja rápido significa que el modelo está aprendiendo más en menos pasos [09:00].
Eso se traduce en menos horas de cómputo, menos costo y modelos que escalan mejor. Por eso RoPE se volvió un estándar en arquitecturas modernas tipo GPT.
Si quieres ver el efecto antes de programarlo, prueba un visualizador interactivo de Rotary Embeddings y juega con distintos tokens. ¿En qué parte de tu propio modelo crees que RoPE haría la mayor diferencia? Cuéntamelo en los comentarios.
Comparto este video de DotCSV que creo presenta una mirada general más clara de la codificación posicional y se complementa muy bien con esta clase:
En paralelo también comparto un artículo complementario que me ayudó:
Profesor, en la sección de recursos no hay ningún link para realizar los experimentos solicitados con el ROPE
Esto es básicamente determinar la cercanía de tokens a través de la ortogonalidad
Here’s a concise yet technical explanation of Rotary Positional Embedding (RoPE), the elegant positional encoding method used in models like LLaMA and GPT-Neo! 🌟🌀
RoPE encodes positional information directly into the attention mechanism by rotating query (Q) and key (K) vectors based on their positions. Unlike fixed sinusoidal embeddings (e.g., in original Transformers), RoPE:
m vs. n depends on m-n).For a token at position m, RoPE applies a to / vectors in complex space:
QKR_m = [cos(mθ), -sin(mθ); sin(mθ), cos(mθ)] (for each dimension pair).Q’ = Q * R_m, K’ = K * R_n (rotates by angles proportional to positions).(Q’ * K’ᵀ) automatically encodes relative positions via rotational geometry.token_i ↔ token_{i+k} relationships naturally.Example: For Q = [q1, q2], rotating by θ gives:
Q’ = [q1*cos(mθ) - q2*sin(mθ), q1*sin(mθ) + q2*cos(mθ)] → injects position without adding extra parameters!
Lo que buscamos con ROPE es codear y guardar la información de en qué parte de la secuencia está la palabra perro, haciendo que el modelo ya no tenga que inferirlo o que lo haga de manera aleatoria.
La técnica de Rotary Position Embedding (RoPE) me resultó muy interesante porque reemplaza los embeddings posicionales tradicionales con rotaciones en el espacio vectorial, lo que hace que la atención dependa directamente de las posiciones relativas entre tokens. Esto no solo simplifica la arquitectura al evitar tablas posicionales aprendidas, sino que también mejora la capacidad del modelo para trabajar con secuencias más largas y mantener dependencias a mayor distancia.
aca es donde no entiendo. podria simple mente aceptar lo que me dicen. pero quiero entender.
segun el ejemplo popular the king and queen y sus relaciones al sustraer o añadir man or woman ( en forma de embedings ), entendi que la semantica de la palabra quedaba guardada en la norma del vector y en su angulo respecto a otros vectores.
Con Rope entiendo que lo que se rota es la palabra respecto a los ejes coordenados (si son n ejes son n rotaciones), como el lenguaje es secuencial, la palabra 3 sera rotada 3theta respecto a todos los ejes, y la palabra 6 sera rotada 3theta +3 tetha entonces el significado se mantiene porque el angulo relativo entre la palabra 3 y 6 no cambia , y sus normas tampoco. hasta aca estoy en lo cierto?
Luego cuando graficamos palabras en clusters semanticos ya esto no se mantendria por eso no se usa rope.
Si el lenguaje es una melodía, los Transformers originales son sordos al ritmo; escuchan las notas, pero no saben en qué compás están. RoPE es el director de orquesta que le da un giro al sonido para ubicarlo en el tiempo.
Mis apuntes!, espero te sirva para entenderlo mejor
Es un mecanismo en el que codificamos en que parte del enunciado esta el token
Porque en un transformers normal sin un RoPe va a tener el mismo peso la relación entre la palabra 1 y 2 del enunciado, que la palabra 1 y 500, no hay entendimiento de la atención de la distancia de las palabras entre si. Esto es perjudicial porque requiere mayor poder de computo y no es eficiente
RoPE (Rotational Position Embedding) asigna un ángulo (theta) a cada token dependiendo de su secuencia en el enunciado, después aplica una matriz de rotación con funciones como sen y cos
Ahora con el RoPE el modelo de atención puede aprender mejor porque ya sabe que palabras son mas influyentes en un token por las palabras que tiene mas cerca en el embedding
Ubicar cada palabra o valor en un espacio fisico es lo que mas me impresiona de todo esto