Ventana de contexto y tokens en LLMs

Cuando lees un informe extenso de 50 páginas y al llegar a la página 40 ya no recuerdas con claridad lo que decía al inicio, estás experimentando exactamente el mismo problema que enfrenta un modelo de lenguaje al procesar grandes cantidades de texto. Entender cómo funciona este mecanismo y cuáles son sus límites te permitirá usar la inteligencia artificial de forma más eficiente y evitar errores costosos en tus resultados.

¿Qué es la ventana de contexto y por qué define los límites de un LLM?

La ventana de contexto es la cantidad total de información que un LLM puede procesar en un momento dado [0:43]. No se trata solo del último mensaje que envías: incluye toda la conversación acumulada, los archivos adjuntos y cualquier instrucción previa. Cada vez que continúas un chat o subes un documento, esa ventana crece.

Este concepto está directamente ligado al modelo de atención [1:02]. A diferencia de un teclado predictivo que solo busca la siguiente palabra más probable, un LLM analiza las relaciones entre todas las palabras del prompt para comprender la intención y el significado completo. El modelo de atención asigna importancia a distintas partes del texto, y eso es lo que le permite redactar emails, responder preguntas complejas o actuar en diferentes roles.

La ventana de contexto se mide en tokens [3:08]. Un token no equivale exactamente a una palabra. Funciona más como un cocinero que sabe exactamente dónde cortar cada ingrediente: el LLM segmenta el texto capturando las sutilezas de cada idioma. Por ejemplo, en español el signo de interrogación de apertura se convierte en un token independiente porque aporta información semántica que no existe en inglés.

¿Cuántos tokens manejan los modelos actuales?

• ChatGPT tiene una ventana de 128 000 tokens, equivalente a unas 300 páginas [3:50].
• Gemini alcanza un millón de tokens, más de 120 000 páginas [4:42].
• Una ventana más grande alivia el problema, pero no lo elimina por completo.

¿Qué sucede cuando se excede la ventana de contexto?

Cuando la información supera la capacidad de la ventana, aparece el problema conocido como la aguja en un pajar [4:07]: el modelo tiene tanta información que debe recurrir a métodos alternativos para localizar el dato preciso, lo cual incrementa la probabilidad de alucinaciones o pérdida de atención sobre detalles relevantes.

¿Qué errores provoca una ventana de contexto saturada?

Incluso modelos con ventanas enormes sufren una degradación de eficiencia cuando se superan ciertos umbrales [5:10]. Esto se manifiesta en tres errores concretos:

• Olvido o alucinación de datos: el modelo deja fuera información que sí le proporcionaste o inventa datos que no existen en el documento [5:22].
• Confusión entre tareas: si primero le pides actuar como researcher sobre calentamiento global y luego como social media manager, el modelo de atención puede mezclar ambos roles y producir resultados inconsistentes [5:48].
• Pérdida de instrucciones: le indicaste resúmenes de 500 palabras, concisos y accionables, pero de pronto vuelve a generar textos largos y genéricos, como si hubiera olvidado tus reglas [6:28].

¿Cómo optimizar la ventana de contexto para obtener mejores resultados?

Existen estrategias prácticas para mitigar estos problemas y mantener la calidad de las respuestas.

¿Por qué repetir instrucciones al final del chat funciona?

El modelo siempre da más atención a lo último que aparece en el prompt [6:52]. Si tu conversación se ha extendido mucho, reescribe los factores importantes justo antes de la nueva tarea. Esto reposiciona la información clave al final de la ventana de contexto, donde el modelo de atención le asigna mayor prioridad.

¿Qué técnicas de formato mejoran la atención del modelo?

• Usa mayúsculas para destacar instrucciones críticas.
• Repite información importante en distintos puntos del prompt.
• Emplea signos de exclamación cuando necesites énfasis.

Si algo significa algo en nuestro idioma, significa algo para el LLM [7:15]. Estas señales lingüísticas ayudan al modelo de atención a priorizar lo que realmente importa.

¿Cuándo conviene iniciar un nuevo chat?

Si detectas que el modelo omite departamentos en un informe, contradice datos previos o ignora instrucciones que ya le diste, es momento de actuar [7:40]. Toma la información útil generada hasta ese punto, ábrela en un chat nuevo con una ventana de contexto limpia y carga solo lo necesario para la siguiente tarea.

Piensa en la ventana de contexto como un escritorio físico y en los tokens como las páginas que caben sobre él [8:14]. Si intentas colocar 20 páginas en un espacio diseñado para 10, inevitablemente perderás visibilidad. La clave está en seleccionar la información correcta, mantener el escritorio ordenado y reorganizarlo cada vez que detectes que algo se está perdiendo.

¿Has experimentado alguno de estos problemas al trabajar con chats largos? Comparte tu experiencia y las técnicas que te han funcionado.