Uso de modelos de chat con LangChain

En este curso hay varias clases con 0 comentarios. Eso significa o que estamos entendiendo todo o no estamos entendiendo nada 😅

📝 Historial de Mensajes

.

ℹ️ Summary

Esta guía proporciona un caso de uso sobre “Memory Context”, cuando es necesario gestionar un historial de mensajes para proveer contexto a un LLM.
.

🗂️ Background

LangChain proporciona varias utilidades para la memorización. Sin embargo, ChatMessagehistory es la base sobre la mayoría, ya que abstrae métodos para guardar mensajes Humanos (HumanMessage) , mensajes AI (AIChatMessage), mensaje contextuales (SystemMessage), y luego recuperarlos todos.
.
Posteriormente, el historial puede ser almacenado en diferentes soluciones, como Redis, para mantener una persistencia de cada uno.
.
Enlaces auxiliares:

• Memory

.

🎯 Problem

Implementar un “Memory Context” utilizando TypeScript para generar un historial de mensajes para implementar en un asistente de chat.
.

🚧 Solution

LanChain provee de la clase ChatMessageHistory para abstraer cada mensaje, según sea el origen de su existencia (Usuario, AI, etc.).

import { ChatMessageHistory } from 'langchain/memory'
import { HumanMessage, AIMessage, SystemMessage } from 'langchain/schema'

const chatHistory = new ChatMessageHistory([
	new SystemMessage(
		'You are an assistant in a washing machine repair Call Center.',
	),
	new HumanMessage('How are you? I need some help'),
	new AIMessage("I'm fine thanks. How can I help you?"),
	new HumanMessage('I want to repair a wash machine'),
])

Dicho historial, es operable mediante una abstracción de memorización. Cada memorización posee su estrategia de diseño según sea el requerimiento.

La memorización BufferMemory, extrae de ChatMessageHistory para obtener su contexto para, finalmente, integrarlo en un modelo LLM de nuestra preferencia.

const memory = new BufferMemory({
	chatHistory,
})

🍻 Discussion

De manera provisional, no es recomendable compartir el mismo historial o instancia de memoria entre dos cadenas de LangChain, una instancia de memoria representa el historial de una única conversación.
.
Así mismo, para su persistencia, es recomendable emplear una solución de almacenamiento según sea el beneficio de cada motor, por ejemplo Redis para una implementación en caché por sesión.

import { ConversationChain } from 'langchain/chains'
import { ChatOpenAI } from 'langchain/chat_models/openai'
import { BufferMemory, ChatMessageHistory } from 'langchain/memory'
import { HumanMessage, AIMessage, SystemMessage } from 'langchain/schema'

const API_TOKEN = // 👈 Enter the API Token from OpenAI

const llm = new ChatOpenAI({
	maxTokens: -1,
	modelName: 'gpt-4',
	temperature: 0,
	openAIApiKey: API_TOKEN,
})


const chatHistory = new ChatMessageHistory([
	new SystemMessage(
		'You are an assistant in a washing machine repair Call Center.',
	),
	new HumanMessage('How are you? I need some help'),
	new AIMessage("I'm fine thanks. How can I help you?"),
	new HumanMessage('I want to repair a wash machine'),
])

const memory = new BufferMemory({
	chatHistory,
})

  
const chain = new ConversationChain({
	llm,
	memory,
})

const response = await chain.call({ input: 'Why did it break down?' })
console.log(response)