Fragmentación de Documentos para Modelos de Lenguaje

Clase 8 de 17 • Curso de LangChain para Manejo y Recuperación de Documentos

Eber Laurente Lliuyacc

student•

2.2 Parent Retriever: Recuperación de fragmentos largos en lugar de doc completos

Bien, nos hemos asegurado en que el LLM contará con el contexto completo, Parent documents, para dar respuesta a la consulta del usuario.

Pero ¿qué pasa si el Parent documents no entra en la ventana de contexto del LLM?

Estrategia: En lugar de pasar al LLM todo el Parent document, le pasamos secciones más reducidas pero más grandes que los Child documents

Paulo Esteban Orsini

student•

Jesús, entences si mi documento es un libro con capítulos, el libro es el padre, y los capítulos son los hijos. Pero al momento de cargar los documentos, cargo el libro y los capítulos? No me quedo claro eso. Muchas Gracias.

RENÉ CARDOSO

student•

La forma correcta de implementarlo no es cargar dos conjuntos de documentos diferentes (el libro y los capítulos) manualmente. La forma correcta es cargar el documento base y dejar que el 'ParentDocumentRetriever' maneje la división y el almacenamiento jerárquico por ti.

Los chunks padres se guardan en InMemoryStore, y los chunks hijos se guardan en VectorStore.

Mauricio Combariza

student•

No entiendo por que me sale este error, por documentación pareceria estar bien pero no. TypeError: MultiVectorRetriever.init() got an unexpected keyword argument 'child_splitter'