Qué son los embeddings y vectores en LLMs

Cuando le escribes a ChatGPT o Claude, detrás hay un sistema que convierte tus palabras en coordenadas matemáticas. Eso son los embeddings: la forma en que un LLM entiende el lenguaje a través de vectores con múltiples dimensiones, y entenderlos te ayuda a escribir mejores prompts.

¿Cómo entiende un LLM las palabras a través de vectores?

Un LLM no lee palabras como tú y yo. Las transforma en relaciones y características, igual que cuando buscas un libro en una biblioteca: piso, estantería, posición. Cada palabra recibe coordenadas que la ubican en un espacio.

Piensa en la palabra motivar. Podrías describirla por su categoría gramatical (verbo), por el sentimiento que evoca, por los contextos en los que aparece (deportivo, laboral) o por si sirve para inspirar o desmotivar. Cada una de esas características es una dimensión [01:00].

¿Qué es un embedding? Es un vector que representa una palabra mediante muchas dimensiones numéricas, donde cada dimensión captura una característica semántica o gramatical descubierta por el modelo durante su entrenamiento.

¿Qué es un vector y cómo se relaciona con los embeddings?

En el colegio aprendiste que un vector es un punto en el plano cartesiano con eje X y eje Y. Por ejemplo, el punto (4,5). Después llegó la tercera dimensión, la profundidad, y con eso piensas el ancho, alto y profundidad de un mueble cuando mides si te cabe en la sala [02:30].

Los embeddings llevan esa idea más lejos: son vectores ndimensionales, es decir, pueden tener tantas dimensiones como sean necesarias, muchas más de tres. Por eso cuesta imaginarlos, aunque los uses sin darte cuenta.

¿Cómo funcionan las dimensiones en un embedding?

Usamos vectores ndimensionales todo el tiempo. Cuando dejas una reseña en un restaurante, no evalúas una sola cosa: calificas la comida, el servicio, el ambiente, la frescura, el menú, la música y hasta subes fotos. Ya tienes siete dimensiones para describir tu experiencia [04:30].

Un ejemplo aún más claro está en una dirección postal en México. Para llegar a las oficinas de Platzi en Ciudad de México necesitas:

1. País: México.
2. Ciudad: Ciudad de México.
3. Alcaldía: Cuauhtémoc.
4. Colonia: Cuauhtémoc.
5. Calle: Avenida Paseo de la Reforma.
6. Número exterior: 373.
7. Número interior: piso 20.
8. Código postal.
9. Estado.
10. Características de la fachada (puerta de cristal).
11. Entre calles: río Guadalquivir y río Nilo.

Si además quieres encontrar a una persona específica dentro de esa oficina, sumas género y nombre. Llegas fácilmente a 11 dimensiones distintas para identificar a alguien [07:30].

¿Por qué importan tantas dimensiones para caracterizar una palabra?

Si solo usaras una característica general como hombres, descartarías apenas la mitad de la población. Pero combinando dimensiones específicas puedes ubicar con precisión un punto único. Lo mismo ocurre con las palabras: cuantas más dimensiones bien elegidas, mejor se diferencia su significado.

Un dato clave: estas dimensiones no las define un humano. Un algoritmo descubre durante el entrenamiento cuáles caracterizan mejor el lenguaje, después de leer enormes cantidades de literatura y texto disponible.

¿Qué papel juega la similitud semántica en los LLMs?

Una de las dimensiones más importantes es la similitud semántica, que conecta palabras según su significado. Por eso los LLMs manejan varios idiomas sin esfuerzo aparente.

La palabra aguacate en español comparte características con avocado en inglés: ambas son frutas, verdes, comestibles. El modelo no traduce palabra por palabra, encuentra la cercanía semántica entre ambos vectores. Por eso puedes mezclar idiomas en una conversación con ChatGPT y te sigue entendiendo [10:30].

¿Por qué dos palabras significan algo parecido para un LLM? Porque sus vectores quedan cerca en el espacio multidimensional. Perro y gato están cerca entre sí (animales domésticos), pero banana queda lejos de ambas porque pertenece a otra familia semántica.

¿Cómo afecta esto la forma en que escribes un prompt?

Cada palabra que eliges empuja al modelo hacia una zona distinta de ese espacio vectorial. Cambiar una sola palabra puede cambiar por completo el resultado que obtienes.

Si pides redacta un correo serio o redacta un correo formal, el LLM navega dimensiones distintas: serio puede activar tonos más rígidos o solemnes, mientras que formal lo lleva hacia estructuras profesionales. Por eso tu elección de palabras importa tanto.

¿Qué pasa si cambio una palabra del prompt? El embedding cambia, el modelo recorre otra zona del espacio vectorial y la respuesta puede variar de tono, enfoque o contenido. Por eso la precisión léxica mejora los resultados.

¿Qué viene después de entender los embeddings?

Ya tienes claro que los embeddings son vectores ndimensionales que capturan características semánticas, gramaticales y contextuales de cada palabra. También sabes por qué elegir bien tus palabras al escribir un prompt cambia el resultado.

Falta una pieza más para completar el panorama: los tokenizers, que son los responsables de partir tu texto en unidades antes de convertirlo en embeddings. ¿Has notado cómo cambia una respuesta de ChatGPT cuando modificas una sola palabra de tu prompt? Cuéntalo en los comentarios.