Resumen
Comprender cómo los LLM interpretan el lenguaje empieza por una idea clave: las palabras se ubican en un espacio vectorial de muchas dimensiones según su significado. Igual que una biblioteca ordenada por temáticas agiliza la búsqueda, los embeddings organizan el sentido de las palabras para que la máquina pueda “encontrarlas” y comprender nuestra intención.
¿Qué son los embeddings y por qué importan en los LLM?
Los embeddings son la representación vectorial de una palabra: una secuencia de números que actúa como el “ADN” del significado. Esta ubicación matemática permite medir cercanías y diferencias semánticas en un espacio multidimensional, no solo por la forma de la palabra, sino por su uso cultural y su contexto.
¿Cómo se ve una representación vectorial?
- Ejemplo directo: “perro” puede tener coordenadas como 0.2, −0.5, 0.8, 0.3, entre muchas más.
- “gato” presenta valores muy cercanos, porque comparten rasgos semánticos.
- Razón de la cercanía: ambas palabras remiten a animales, mamíferos y domésticos.
- Idea clave: la similitud en vectores refleja la similitud de significado.
¿Qué significa cercanía en el espacio multidimensional?
- Palabras afines se ubican próximas: “rey” cerca de “reina”, “hospital” de “médico”, “azul” de “rojo”.
- Lo que para nosotros es sentido común, el LLM lo vuelve operaciones matemáticas.
- En prompt engineering, conviene hacer explícito lo que suele ser inconsciente: elegir con intención las palabras que conducen al significado deseado.
¿Cómo capturan relaciones complejas como rey menos hombre más mujer?
En este espacio, se pueden modelar relaciones con operaciones sencillas. Si tomamos el vector de “rey”, le restamos el factor “hombre” y le sumamos “mujer”, el resultado natural es “reina”. Aunque no sumamos ni restamos palabras al hablar, el modelo sí puede hacerlo porque opera con vectores que codifican rasgos semánticos.
¿Cómo visualizar este espacio con Embedding Projector?
- Hay una herramienta llamada Embedding Projector que muestra una nube de palabras en 3 dimensiones.
- Importante: solo funciona en inglés y reduce la visualización a tres ejes.
- Los LLM trabajan con muchas más dimensiones: 748, 1024, 2056, entre otras.
- Al buscar “queen”, aparecen cercanas “Elizabeth”, “Anne”, “King”, “Mary”, “Princess”, “Catherine”. Refleja cómo el modelo aprendió de literatura disponible sin copyright.
- Ojo con la perspectiva: algo que se ve cercano puede alejarse al rotar, porque solo vemos tres dimensiones de un espacio mucho mayor.
¿Por qué esto supera al teclado predictivo y cómo mejorar tus prompts?
Un teclado predictivo de WhatsApp propone la siguiente palabra sin comprender la intención. Un LLM como ChatGPT utiliza embeddings para enfocar su atención en regiones del espacio relacionadas con el contexto. Si escribes “El cielo es”, el modelo dirige su atención a la zona semántica del clima y completa con lo que tenga más sentido.
Prácticas para escribir mejores prompts: - Elige cada palabra con cuidado: cada término mueve la atención del LLM dentro del espacio vectorial. - Prioriza tu lenguaje nativo: captarás mejor sutilezas y connotaciones culturales. - Sé explícito con el significado que buscas antes de pedir una tarea. - Define el rol del LLM cuando proceda: ayuda a orientar la atención hacia la función esperada. - Recuerda que las técnicas de prompt engineering “juegan” con la atención y el espacio vectorial para obtener resultados más efectivos.
¿Te surgió un ejemplo claro de suma y resta semántica como el de “rey − hombre + mujer = reina”? Compártelo en comentarios y cuenta qué palabras elegirías para provocar la respuesta que buscas.