Proyecto de Chatbot: chat history con ConversationalRetrievalChain

¿Cómo integrar memoria a tu chatbot?

El uso de memoria en chatbots mejora la calidad de las interacciones, permitiendo que las respuestas se generen con base en el historial de las conversaciones previas y el contexto actual. Esto implica un nivel avanzado de procesamiento de lenguaje natural, particularmente con modelos como los Transformer.

¿Cómo inicializamos el historial de chat?

Antes de implementar memoria, se necesita inicializar un historial de chat, que se puede hacer de manera sencilla creando una lista vacía. Esta lista actuará como un almacén para registrar todas las interacciones durante una conversación.

chatHistory = []

¿Cómo definir la función processMemoryQuery?

Al igual que se definió processQAQuery para gestionar las consultas y respuestas, es necesario crear una función llamada processMemoryQuery. Esta emulará la anterior, pero con las particularidades asociadas al manejo del historial de chat.

En lugar de utilizar un retrieval QA, se necesita implementar una conversational retrieval chain. Este cambio es clave porque permite recuperar información basada en el contexto interactivo, no sólo en preguntas/respuestas. Aquí está un ejemplo simplificado:

def processMemoryQuery(query, retriever, chatHistory):
    conversationChain = ConversationalRetrievalChain(model=chat, retriever=retriever, verbose=True)
    result = conversationChain.run(query=query, chat_history=chatHistory)
    return result['answer']

¿Cómo aseguramos que el historial crezca?

Durante una interacción típica, el chatbot debe obtener el resultado y luego integrarlo dentro del historial del chat. Para ello, la función utiliza el método append para agregar tanto la consulta como la respuesta al historial. Así, se puede tener un registro completo de la interacción:

chatHistory.append({'query': query, 'response': result})

¿Qué hacer si el historial se vuelve inmanejable?

De manera natural, el prompt se puede llenar de información hasta un punto en el que colapse. Ante este escenario, la solución propuesta es implementar una cadena de sumarización. Esta cadena condensará las primeras interacciones, manteniendo las últimas dos intactas. Esto optimiza el uso del prompt sin perder contexto.

¿Cómo probar y depurar el modelo?

Tras efectuar las implementaciones, es crucial depurar y asegurarse que el código funcione correctamente. Aquí, herramientas como Black y Isort se encargan de limpiar y organizar el código. Luego, con Poetry se puede ejecutar el script:

black conversation_ai.py
isort conversation_ai.py
poetry run python hashira

Reto: Mejorar el uso de memoria

La implementación de memoria en chatbots requiere no solo programación, sino creatividad para manejar grandes volúmenes de datos. Un reto interesante es crear una cadena que sume las interacciones previas mientras mantiene las más recientes accesibles. Así, se evita la saturación y se mantiene la eficiencia.

El desarrollo de chatbots con memoria ofrece un gran potencial, pero también plantea desafíos. Atrévete a superarlos y considera las posibilidades de mejorar con interfaces de usuario visuales o adaptando para múltiples usuarios. ¡Sigue aprendiendo y explorando!