Configuración de ConversationBufferWindowMemory en Chatbots

Resumen

¿Qué es la memoria de ventana de conversación?

En el mundo del desarrollo de chatbots, es fundamental entender cómo estos recuerdan y responden a las interacciones previas. Una técnica eficiente para manejar la memoria es el uso de ConversationBufferWindowMemory. Esta opción permite almacenar solo un número específico de interacciones, manteniendo en la memoria únicamente lo más reciente. La tecnología del "buffer window" es esencial para aquellos casos donde la gestión de recursos es crítica, como en las interacciones extensas que se dan con modelos de lenguaje.

¿Cómo se implementa la memoria de ventana en un chatbot?

Para implementar esta memoria, es necesario crear una instancia de ConversationBufferWindowMemory desde una librería de memoria específica. El parámetro K define cuántas interacciones se almacenarán en la memoria. Es recomendable que el número de interacciones que se recuerden dependa del contexto específico del chatbot que se está desarrollando:

Interacciones cortas: Si el chatbot se usa para interacciones breves, quizás sea suficiente recordar solo 2 o 3 mensajes.
Interacciones largas: Para aplicaciones más avanzadas, se podrían recordar hasta 5 o 6 mensajes.

¿Qué beneficios ofrece la memoria de ventana?

El uso de una memoria de ventana bien configurada trae múltiples beneficios:

Optimización de recursos: Al limitar la cantidad de datos en la memoria, se evita el procesamiento innecesario de información antigua, optimizando el uso del chatbot.
Costo reducido: En servicios como OpenAI, reducir el número de tokens que se cargan en el modelo puede disminuir los costos asociados a peticiones extensas.
Respuesta veloz: Al procesar menos información, el chatbot puede proporcionar respuestas de manera más ágil y eficiente.

from libreria_de_memoria import ConversationBufferWindowMemory

# Crear una instancia de la memoria de ventana 
window_memory = ConversationBufferWindowMemory(K=3)  # Por ejemplo, recordar las 3 interacciones más recientes

¿Cómo se integra una memoria de ventana con un modelo de lenguaje?

Una vez configurada la memoria de ventana, el siguiente paso es integrarla con el modelo de lenguaje. Vamos a usar un modelo de chat preinstanciado, como el GPT-3.5 Turbo de OpenAI. El proceso es sencillo, y asegurar que el modelo esté correctamente configurado para aprovechar la memoria es crucial.

Crear una nueva cadena de conversación: Esto implica instanciar una ConversationChain donde se especifica el modelo de lenguaje y la memoria a usar.
Configurar verbose: Configurar verbose como true puede ser útil en fases de desarrollo para verificar cómo el modelo procesa los mensajes y cómo la memoria almacena las interacciones.
Iniciar la conversación: Utilizando el método predict, se puede conversar con el chatbot, verificando cómo responde y cómo enriquece las interacciones almacenadas.

# Crear una cadena de conversación con el modelo y la memoria
conversation = ConversationChain(modelo_lenguaje=gpt_3_5_turbo, verbose=True, memoria=window_memory)

# Iniciar interacción
respuesta = conversation.predict(input="¿Qué onda? ¿Cómo estás? Soy Omar y escribo muy coloquial.")
print(respuesta)

¿Qué se debe tener en cuenta al configurar una ventana de memoria?

Al trabajar con memorias de ventana, es fundamental considerar el equilibrio entre profundidad de la memoria y costo:

Memoria corta: Ideal para interacciones transitorias y directas.
Memoria larga: Puede brindar una conversación más rica, pero conlleva un costo mayor en procesamientos.

Es esencial definir el tipo de conversación que se desea con el chatbot. Esto influirá tanto en el diseño como en los recursos necesarios para su operación. Considerar estos aspectos desde el inicio facilitará un desarrollo más eficiente y efectivo.

Miguel Angel Solis Orozco

student•

Cuando uso conversation.memory.buffer sólo me aparecen las últimas interacciones y no todo el historial de conversación ¿Algo cambió en la nueva vesión de langchain?

Eduardo Ortiz Quiroz

student•

Si en vez de usar el conversation.memory.buffer se usa el conversation.memory se puede acceder a todo el historial, el buffer solo almacena un fragmento de la conversacion

John J. Meza

student•

Todos estos métodos están deprecados, ahora se usa LangGraph, a partir de este punto solo pude ser oyente, tomar notas pero no pude seguir el curso con código.

Tulio Enrique Leal Velasquez

student•

menospreciada la capacidad humoristica de Omar

Luis Boivar

student•

Tener en cuenta que el K, o la window, son sólo de las interacciones del user, no cuenta las de ia.

Emmanuel Rodríguez

student•

📝 Sesgo de Memorización

ℹ️ Summary

Esta guía proporciona un caso de uso sobre "Conversation Buffer Window Memory", para tener conversaciones sesgadas en interacciones. .

🗂️ Background

En LangChain, se puede implementa: .

Un sistema de memoria muy simple que podría devolver los mensajes más recientes en cada ejecución.
Un sistema de memoria algo más complejo que podría devolver un resumen sucinto de los últimos K mensajes.
Un sistema aún más sofisticado podría extraer entidades de los mensajes almacenados y sólo devolver información sobre las entidades referenciadas en la ejecución actual.

. Cada aplicación puede tener diferentes requisitos en cuanto a la forma de consultar la memoria. El módulo de memoria debería facilitar tanto la puesta en marcha de sistemas de memoria sencillos como la escritura de sistemas personalizados si fuera necesario. . Enlaces auxiliares:

Building Memory Into a System

🚧 Solution

ConversationBufferWindowMemory mantiene una lista de las interacciones de la conversación a lo largo del tiempo. Sólo utiliza las últimas k interacciones.

import { BufferWindowMemory, ChatMessageHistory } from 'langchain/memory'
import { HumanMessage, AIMessage } from 'langchain/schema'

const chatHistory = new ChatMessageHistory([
	new HumanMessage("Hi! I'm Jim."),
	new AIMessage(
		"Hi Jim! It's nice to meet you. My name is AI. What would you like to talk about?",
	),
])

const memory = new BufferWindowMemory({
	k: 1,
	chatHistory,
})

Con lo anterior, se agregó de un historial de conversación al LLM. Para darle de contexto y efectuar correctamente la siguiente tarea o pregunta. Sin embargo, después de algunas interacciones, debido a los k o mensajes pasados, olvide su contexto.

import { ConversationChain } from 'langchain/chains'

const chain = new ConversationChain({
	llm,
	memory,
})

let response = await chain.call({ input: 'What is it a LLM?' })
console.log(response)

response = await chain.call({ input: 'What is it OpenAI?' })
console.log(response)

response = await chain.call({ input: "What's my name?" })
console.log(response)

🍻 Discussion

ConversationBufferWindowMemory es un tipo de memorización útil para mantener una ventana deslizante de las interacciones más recientes, para que el buffer no se haga demasiado grande.

import { ConversationChain } from 'langchain/chains'
import { ChatOpenAI } from 'langchain/chat_models/openai'
import { BufferWindowMemory, ChatMessageHistory } from 'langchain/memory'
import { HumanMessage, AIMessage } from 'langchain/schema'

const API_TOKEN = // 👈 Enter the API Token from OpenAI

const llm = new ChatOpenAI({
	maxTokens: -1,
	modelName: 'gpt-4',
	temperature: 0,
	openAIApiKey: API_TOKEN,
})

const chatHistory = new ChatMessageHistory([
	new HumanMessage("Hi! I'm Jim."),
	new AIMessage(
		"Hi Jim! It's nice to meet you. My name is AI. What would you like to talk about?",
	),
])

const memory = new BufferWindowMemory({
	k: 1,
	chatHistory,
})

const chain = new ConversationChain({
	llm,
	memory,
	prompt,
})

let response = await chain.call({ input: 'What is it a LLM?' })
console.log(response)

response = await chain.call({ input: 'What is it OpenAI?' })
console.log(response)

response = await chain.call({ input: "What's my name?" })
console.log(response)