Qué son los embeddings en los LLMs

Los modelos de lenguaje no leen palabras, leen coordenadas. Detrás de cada término que escribes en un prompt existe una ubicación matemática llamada embedding que captura su significado y lo conecta con otras palabras cercanas. Entender este mecanismo es la base para escribir prompts efectivos y aprovechar al máximo cualquier LLM.

¿Qué es un embedding y cómo funciona en un LLM?

Piensa en una biblioteca enorme donde cada libro se organiza por temática para encontrarlo rápido. Los modelos de lenguaje hacen algo parecido con cada palabra: les asignan una dirección precisa dentro de un espacio matemático gigante, como si fuera un GPS lingüístico [0:25].

Esa dirección, llamada embedding o representación vectorial, es una secuencia de números que funciona como el ADN de una palabra. La máquina, que solo entiende números, usa esos vectores para captar el significado completo del término dentro de tu cultura y tu lenguaje [1:15].

¿Qué es un embedding? Es una secuencia de números que ubica a cada palabra en un espacio matemático multidimensional. Esa posición refleja el significado de la palabra y su cercanía con otras palabras parecidas.

Por ejemplo, perro puede tener coordenadas como 0.2, -0.5, 0.8, 0.3, mientras que gato tiene 0.21, -0.48, 0.79, 0.31. Aunque las letras son distintas, los números casi se tocan: ambos son animales, mamíferos y domésticos, así que viven cerca en ese mapa [2:15].

¿Por qué las palabras con significados similares están cerca?

En este espacio multidimensional, la cercanía representa parecido semántico. Rey está cerca de reina, hospital está cerca de médico, azul está cerca de rojo. Lo que para nosotros es sentido común, para un LLM es geometría pura [3:25].

Y aquí viene lo interesante: ese mismo espacio permite hacer operaciones matemáticas con significados. Si tomas el vector de rey, le restas hombre y le sumas mujer, el resultado es reina. La máquina captura relaciones complejas usando suma y resta de coordenadas [4:50].

¿Cuántas dimensiones tiene el espacio vectorial de un LLM?

Nosotros podemos imaginar tres dimensiones, las del mundo físico. Los LLMs trabajan con 748, 1024 o 2056 dimensiones, algo imposible de visualizar [6:30]. Cada una de esas dimensiones es una característica distinta que el modelo usa para clasificar el significado de una palabra.

Una herramienta útil para verlo de forma gráfica es el Embedding Projector. Si buscas queen en inglés, aparecen cerca palabras como Elizabeth, Anne, King, Mary, Princess y Catherine. Esa cercanía viene del entrenamiento del modelo con literatura abierta, donde la reina Elizabeth aparece miles de veces ligada a la palabra queen [7:25].

¿En qué se diferencia un LLM del teclado predictivo de WhatsApp?

El teclado predictivo solo adivina la siguiente palabra después de un hola. No busca significado, no entiende intención. Por eso el autocorrector nunca podría redactarte un correo completo [8:35].

Un LLM hace algo distinto: cuando escribes el cielo es, mueves su atención hacia la zona del espacio vectorial relacionada con el clima. A partir de ahí construye una respuesta coherente con ese contexto [9:15]. Cada palabra que tecleas funciona como una orden que desplaza el foco del modelo hacia un vecindario específico de significados.

¿Por qué importa cada palabra de un prompt? Porque cada término mueve la atención del LLM hacia una zona distinta del espacio vectorial. Cambiar una palabra cambia el contexto y, con él, la calidad de la respuesta.

¿Por qué conviene escribir prompts en tu idioma nativo?

Cuando escribes en un idioma que no dominas, pierdes matices culturales y sutilezas que solo captas en tu lengua materna. Esos detalles son los que activan los embeddings correctos en el modelo [10:40].

Algunas ideas prácticas para tus prompts:

• Elige palabras precisas, no genéricas, para apuntar al vecindario semántico correcto.
• Escribe en tu lenguaje nativo siempre que el modelo lo soporte bien.
• Recuerda que sinónimos pueden estar cerca en el espacio, pero no son intercambiables: cada uno arrastra connotaciones distintas.

Las siguientes clases del curso explican cómo asignarle un rol al LLM y cómo aprovechar técnicas de prompt engineering que juegan con este modelo de atención y con el espacio vectorial. Cuéntame en los comentarios qué resultado te dio la operación rey menos hombre más mujer cuando la probaste.