ConversationSummaryMemory

En comparación con ConverssationBufferWindowMemory, esta memoria envía resumenes de la conversación haciendo más barata la interacción

📝 Contexto de Memorización por resumen

ℹ️ Summary

Esta guía proporciona un caso de uso sobre “Conversation Summary Memory”, un tipo de memorización basada en la generación de un resumen del historial para proveer de contexto.
.

🗂️ Background

La memoria de resumen de conversación resumirá lo que hemos hablado con el modelo de manera concisa y lo inyectará al prompt, esto puede hacer que se pierdan ligeros pedazos de información pero permitirá que arrastremos muchisimo más contexto en menos tokens.
.
Esta estrategia de memoria permite equilibrar entre mantener un resumen completo de la conversación y reducir el uso de tokens para un funcionamiento más eficiente.
.
Enlaces auxiliares:

• Conversation Summary Memory

.

🚧 Solution

LangChain provee de un par de implementación para este tipo de resumen de la conversación.
.
Por una parte, tendremos el uso mediante algún LLM genérico y un Chat model especializado. Su elección y uso, será debido al refinamiento del proceso según sea la especificación.

Por ejemplo, mediante un Chat Model:

import { ChatOpenAI } from 'langchain/chat_models/openai'
import { ConversationSummaryMemory } from 'langchain/memory'

const memory = new ConversationSummaryMemory({
	llm: new ChatOpenAI({
		maxTokens: -1,
		modelName: 'gpt-4',
		temperature: 0,
		openAIApiKey: API_TOKEN,
	}),
})

Con ello, cada interacción sera guiada por un resumen para proveer de un contexto a la conversación como memorización.

import { ConversationChain } from 'langchain/chains'
import { ChatOpenAI } from 'langchain/chat_models/openai'

const chain = new ConversationChain({
	llm: new ChatOpenAI({
		maxTokens: -1,
		modelName: 'gpt-4',
		temperature: 0,
		openAIApiKey: API_TOKEN,
	}),
	memory,
})

🍻 Discussion

ConversationSummaryMemory crea un resumen de la conversación a lo largo del tiempo. Esto puede ser útil para condensar información de la conversación en el tiempo.
.
La memoria del resumen de conversación, minimiza la conversación a medida que ocurre, almacenando el contexto en la memoria. Esta memoria se puede utilizar entonces para inyectar el resumen de la conversación, por ejemplo en un prompt.
.
Esta memoria es muy útil para conversaciones largas, en las que mantener el historial de mensajes pasados en el aviso al pie de la letra ocuparía demasiados tokens.

import { ConversationChain } from 'langchain/chains'
import { ChatOpenAI } from 'langchain/chat_models/openai'
import { ConversationSummaryMemory } from 'langchain/memory'

const API_TOKEN = // 👈 Enter the API Token from OpenAI

const memory = new ConversationSummaryMemory({
	llm: new ChatOpenAI({
		maxTokens: -1,
		modelName: 'gpt-4',
		temperature: 0,
		openAIApiKey: API_TOKEN,
	}),
})

const chain = new ConversationChain({
	llm: new ChatOpenAI({
		maxTokens: -1,
		modelName: 'gpt-4',
		temperature: 0,
		openAIApiKey: API_TOKEN,
	}),
	memory,
})

let response = await chain.call({
	input: "Hello, I'm Jim.",
})
console.log(response, await memory.loadMemoryVariables({}))  

response = await chain.call({ input: "What's my name?" })
console.log(response, await memory.loadMemoryVariables({}))