Document Transformers: TextSplitters

⚠️ Una advertencia para que sí usen la data del PDF de crypto.

Antes de cargar documents con el text_splitter recuerden correr nuevamente el código que carga el archivo public_key_cryptography.pdf que se aprende en la Clase 14 Document Loaders: PDF, de lo contrario van cargar la data del JSON o del CSV y no resolverán las queries que indica el profe. 🤓

from langchain.document_loaders import PyPDFLoader

loader = PyPDFLoader("./public_key_cryptography.pdf")
data = loader.load()

🔩 Divisores de Texto (Text Splitters)

.

ℹ️ Summary

Esta guía proporciona un caso de uso sobre “Text Splitters”, cuando se desea dividir un documento largo en trozos que puedan ajustarse a la ventaja contextual de un modelo.
.

🗂️ Background

Una vez cargados los documentos, a menudo querrá transformarlos para adaptarlos mejor a su aplicación. El ejemplo más sencillo es que quieras dividir un documento largo en trozos más pequeños que quepan en la ventana contextual de tu modelo. LangChain tiene una serie de transformadores de documentos incorporados que facilitan la división, combinación, filtrado y manipulación de documentos.
.
En alto nivel, los divisores de texto funcionan de la siguiente manera:
.

1. Divida el texto en pequeños fragmentos semánticamente significativos (a menudo frases).
2. Se empieza a combinar estos trozos pequeños en un trozo más grande hasta que alcances un cierto tamaño (medido por alguna función).
3. Una vez alcanzado ese tamaño, haga de ese trozo su propio fragmento de texto y empiece a crear un nuevo trozo de texto con cierto solapamiento (para mantener el contexto entre los trozos).

.
Enalces auxiliares:

• Transformadores de Documentos

.

🎯 Problem

Implementar un “Text Splitter” utilizando TypeScript para dividir un repositorio de información manejable por el model GPT-4 de OpenAI.
.

🚧 Solution

LongChain recomienda la funcionalidad RecursiveCharacterTextSplitter, ya que posee la versatilidad de dividir, recursivamente, mediante caracteres distintivos en una oración y párrafos en un documento de texto.

import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter'

const splitter = new RecursiveCharacterTextSplitter({
	chunkSize: 1000,
	chunkOverlap: 200,
})

const docsOutput = await splitter.splitDocuments(docs)

Podemos destacar los parámetros chunkSize y chunkOverlap, los cuales definen la división semántica del contenido en función del tamaño y la ampliación del mismo, respectivamente.
.

🍻 Discussion

En la definición del TextSplitter definimos un chunk de 1000 caracteres y un overlap de 200 caracteres, pero, ¿Cómo se cuál es valor correcto para estos parámetros?
.
Sobre el chunk, la cantidad de tokens o caracteres debe ser la misma que la que se definirá en el embedding, por lo que si se entregan más tokens que el modelo de embedding puede soportar, el modelo colapsará o procesará información incompleta. Los diferentes modelos aceptan diferentes límites, donde ada de OpenAI acepta hasta 8k de caracteres, mientras otros más modestos aceptan 500 (que es el valor estándar por ahora).
.
Con respecto al overlap es importante mantener un porcentaje de 10 a 20% para que pueda comprender contexto anterior sin que se repitan conceptos exageradamente, si bien este es un valor de prueba y error, se ha demostrado que estos valores son funcionales.

import { HNSWLib } from 'langchain/vectorstores/hnswlib'
import { OpenAIEmbeddings } from 'langchain/embeddings/openai'
import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter'
import { TextLoader } from 'langchain/document_loaders/fs/text'

const API_TOKEN = // 👈 Enter the API Token from OpenAI

const textLoader = new TextLoader('tmp/meeting.txt')
const docs = await textLoader.load()

const splitter = new RecursiveCharacterTextSplitter({
	chunkSize: 1000,
	chunkOverlap: 200,
})
const docsOutput = await splitter.splitDocuments(docs)

const embeddings = new OpenAIEmbeddings({
	openAIApiKey: API_TOKEN,
})

const vectorStore = await HNSWLib.fromDocuments(docsOutput, embeddings)
console.log(vectorStore)