Priming y mecanismo de atención en modelos de inteligencia artificial

La fascinante relación entre nuestro cerebro y los modelos LLM (Large Language Models) como ChatGPT radica en la manera en que somos capaces de anticipar respuestas, un fenómeno conocido en psicología como priming. Este fenómeno explica cómo un estímulo inicial puede influir inconscientemente en respuestas automáticas posteriores, algo que ocurre tanto en humanos como en la inteligencia artificial.

¿Qué es el priming y cómo afecta nuestra percepción?

El priming actúa cuando nuestro cerebro es expuesto a ciertos estímulos que desencadenan respuestas automáticas y predecibles, sin que seamos plenamente conscientes de ello. Por ejemplo, al responder rápidas operaciones matemáticas simples como uno más uno, es probable que muchos piensen automáticamente en el mismo vegetal ante una siguiente pregunta. Esto se debe al peso que ciertas palabras o estímulos adquieren, llevando nuestro pensamiento a lugares específicos.

¿Cómo utilizan los LLM el contexto para las predicciones?

Los modelos LLM usan un mecanismo llamado atención, similar a nuestro cerebro, que asigna pesos o relevancias a diferentes palabras dentro de un contexto determinado. Este mecanismo permite al modelo anticipar o predecir de manera efectiva la siguiente palabra o respuesta más adecuada en función del contexto previo.

Por ejemplo, la frase "el gato negro está durmiendo" contiene palabras con diferentes grados de importancia, siendo "gato" una palabra clave que orienta a predecir palabras relacionadas, como "jugando" o "durmiendo". En contraste, "él está" sin más contexto llevaría a predicciones mucho más variadas, basadas posiblemente en personas en lugar de animales.

¿Qué papel juega la ventana de contexto en modelos como ChatGPT?

El concepto de ventana de contexto en modelos como ChatGPT se refiere a la cantidad de texto o información previa que el modelo es capaz de tomar en cuenta para generar respuestas. Esta ventana no solo incluye los mensajes que el usuario introduce, sino también las respuestas previas del propio ChatGPT, actuando como una especie de memoria de trabajo.

ChatGPT versión 4 posee una ventana de contexto amplia, capaz de procesar aproximadamente 128 mil tokens, equivalentes a unas 40 mil palabras en inglés o alrededor de 160 páginas de contenido. En español, debido a la longitud mayor de las palabras, esta cantidad puede variar ligeramente.

Además, esta ventana permite al modelo asignar distintas relevancias o pesos a partes específicas de la conversación, priorizando más los intercambios recientes que los iniciales y afectando la percepción de cómo retiene información a largo plazo.

¿Por qué ChatGPT predice mejor que un autocorrector o teclado predictivo?

La gran diferencia entre ChatGPT y herramientas más sencillas como un autocorrector radica en la amplitud del contexto que pueden evaluar. Mientras que un teclado predictivo generalmente considera solo la última palabra escrita para sugerir la siguiente, ChatGPT considera todo el contenido previo del diálogo. Esto le permite ofrecer respuestas increíblemente más relevantes y precisas.

Finalmente, es importante entender que experiencias como la del vegetal mencionado al inicio revelan cómo el fenómeno del priming puede activarse también en interacciones digitales con modelos de inteligencia artificial. Por eso, próximos contenidos abordarán técnicas para gestionar adecuadamente el contexto y maximizar el potencial de los LLM como herramientas versátiles más allá de la simple interfaz de chat.

Cuéntanos en comentarios qué vegetal te vino a la mente en el ejercicio inicial y revisemos juntos cuántos hemos coincidido.