Fragmentación de Documentos con TextSplitter en Langsteam

Resumen

¿Cómo se fragmentan los documentos para facilitar su indexación?

En el mundo del procesamiento del lenguaje natural, estructurar y dividir documentos en fragmentos más pequeñas es clave para crear índices eficaces y manejables. Aprender a utilizar los TextSplitters, específicamente el Recursive Character TextSplitter, es un paso fundamental. Definir el tamaño adecuado para estos fragmentos de texto puede mejorar significativamente la forma en que los documentos se analizan e indexan. A continuación, exploraremos este enfoque y destacaremos cómo convertir múltiples documentos en fragmentos más pequeños para su análisis.

¿Qué son los TextSplitters y cómo utilizarlos?

Los TextSplitters son herramientas que transforman documentos en fragmentos más manejables. El objetivo es dividir un documento grande en capítulos y subcapítulos. Para iniciar, se emplea el Recursive Character TextSplitter de la biblioteca Langsteam.

from langsteam import TextSplitter

text_splitter = TextSplitter()

El primer paso consiste en definir el tamaño del texto. En vez de medirlo por caracteres o palabras, se utiliza una medición en tokens.

¿Qué son los tokens y cómo se utilizan en el TextSplitter?

Un token es una unidad básica de datos en el procesamiento del lenguaje natural. Para determinar el tamaño de los fragmentos, se utilizan funciones que cuentan la longitud en tokens. Es posible usar métodos avanzados como los tokenizadores de OpenAI o Jogging Face, aunque una función simple de longitud suele ser suficiente.

Importancia del overlap en los fragmentos

El overlap, o superposición, es esencial para asegurar que no se pierda la continuidad entre fragmentos consecutivos. Un texto puede contener partes importantes justo al inicio y al final de un fragmento, por lo que introducir un overlap de 200 caracteres garantiza que la información relevante no se corte abruptamente.

Características claves del Recursive Character TextSplitter

Este splitter tiene la característica de tener en cuenta los fines de oraciones y párrafos, asegurándose de no cortar oraciones a la mitad. Esto mejora la legibilidad y comprensión del texto.

¿Por qué es importante el tamaño de los chunk y overlap?

El tamaño del chunk y su overlap son parámetros esenciales al fragmentar documentos:

Chunk Size: Para que sea efectivo, un Chunk Size debe ser coherente con el modelo de Embedding empleado.
- Modelos como Cohere manejan entre 500 a 600 tokens.
- Sentence Transformers de Jogging Face aceptan alrededor de 250 tokens.
- OpenAI — ofrece un margen de hasta 8000 tokens.
Chunk Overlap: Se recomienda que el overlap sea entre un 10% a 20% del total del chunk. Esto permite que los fragmentos mantengan su conexión sin ser excesivamente repetitivos.

Exploración práctica

Una vez divididos los documentos, se obtiene una lista mucho más extensa y detallada de fragmentos. Originalmente, 18 documentos se transformaron en 142 fragmentos más manejables, listos para ser indexados con mayor precisión.

documents = text_splitter.splitDocuments(data)

Con esta metodología, se facilita la indexación y se optimiza el acceso a la información al descomponer documentos grandes en fragmentos más precisos y concisos.

Consejos para prácticas avanzadas

Al ajustar los valores de Chunk Size y Overlap, experimentar con diferentes configuraciones puede revelar cuál se adecúa mejor a una tarea específica.
Mantenerse actualizado con los avances en modelos de Embedding puede permitir manejar fragmentos de tamaño mayor conforme las capacidades tecnológicas aumenten.
Utilizar bibliotecas como Langteam y Jogging Face para tokenización avanzada puede proporcionar una medición más precisa del tamaño en tokens.

Aprender a trabajar con TextSplitters no solo mejora cómo se indexa la información, sino que también transforma la manera en que se procesa el lenguaje natural para la obtención de datos y conocimiento. Anímate a seguir explorando y experimentando con estas herramientas para maximizar su potencial.

Miguel Torres

student•

⚠️ Una advertencia para que sí usen la data del PDF de crypto.

Antes de cargar documents con el text_splitter recuerden correr nuevamente el código que carga el archivo public_key_cryptography.pdf que se aprende en la Clase 14 Document Loaders: PDF, de lo contrario van cargar la data del JSON o del CSV y no resolverán las queries que indica el profe. 🤓

from langchain.document_loaders import PyPDFLoader

loader = PyPDFLoader("./public_key_cryptography.pdf")
data = loader.load()

Juan R. Vergara M.

student•

Gracias por la explicación 🥇📝💡

Fiestas Hidalgo Dante Edison

student•

Hola, ¿es necesario realizar el TextSplitter para CSV?

Emmanuel Rodríguez

student•

🔩 Divisores de Texto (Text Splitters)

ℹ️ Summary

Esta guía proporciona un caso de uso sobre "Text Splitters", cuando se desea dividir un documento largo en trozos que puedan ajustarse a la ventaja contextual de un modelo. .

🗂️ Background

Una vez cargados los documentos, a menudo querrá transformarlos para adaptarlos mejor a su aplicación. El ejemplo más sencillo es que quieras dividir un documento largo en trozos más pequeños que quepan en la ventana contextual de tu modelo. LangChain tiene una serie de transformadores de documentos incorporados que facilitan la división, combinación, filtrado y manipulación de documentos. . En alto nivel, los divisores de texto funcionan de la siguiente manera:
.

Divida el texto en pequeños fragmentos semánticamente significativos (a menudo frases).
Se empieza a combinar estos trozos pequeños en un trozo más grande hasta que alcances un cierto tamaño (medido por alguna función).
Una vez alcanzado ese tamaño, haga de ese trozo su propio fragmento de texto y empiece a crear un nuevo trozo de texto con cierto solapamiento (para mantener el contexto entre los trozos).

. Enalces auxiliares:

Transformadores de Documentos

🎯 Problem

Implementar un "Text Splitter" utilizando TypeScript para dividir un repositorio de información manejable por el model GPT-4 de OpenAI. .

🚧 Solution

LongChain recomienda la funcionalidad RecursiveCharacterTextSplitter, ya que posee la versatilidad de dividir, recursivamente, mediante caracteres distintivos en una oración y párrafos en un documento de texto.

import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter'

const splitter = new RecursiveCharacterTextSplitter({
	chunkSize: 1000,
	chunkOverlap: 200,
})

const docsOutput = await splitter.splitDocuments(docs)

Podemos destacar los parámetros chunkSize y chunkOverlap, los cuales definen la división semántica del contenido en función del tamaño y la ampliación del mismo, respectivamente. .

🍻 Discussion

En la definición del TextSplitter definimos un chunk de 1000 caracteres y un overlap de 200 caracteres, pero, ¿Cómo se cuál es valor correcto para estos parámetros? . Sobre el chunk, la cantidad de tokens o caracteres debe ser la misma que la que se definirá en el embedding, por lo que si se entregan más tokens que el modelo de embedding puede soportar, el modelo colapsará o procesará información incompleta. Los diferentes modelos aceptan diferentes límites, donde ada de OpenAI acepta hasta 8k de caracteres, mientras otros más modestos aceptan 500 (que es el valor estándar por ahora). . Con respecto al overlap es importante mantener un porcentaje de 10 a 20% para que pueda comprender contexto anterior sin que se repitan conceptos exageradamente, si bien este es un valor de prueba y error, se ha demostrado que estos valores son funcionales.

import { HNSWLib } from 'langchain/vectorstores/hnswlib'
import { OpenAIEmbeddings } from 'langchain/embeddings/openai'
import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter'
import { TextLoader } from 'langchain/document_loaders/fs/text'

const API_TOKEN = // 👈 Enter the API Token from OpenAI

const textLoader = new TextLoader('tmp/meeting.txt')
const docs = await textLoader.load()

const splitter = new RecursiveCharacterTextSplitter({
	chunkSize: 1000,
	chunkOverlap: 200,
})
const docsOutput = await splitter.splitDocuments(docs)

const embeddings = new OpenAIEmbeddings({
	openAIApiKey: API_TOKEN,
})

const vectorStore = await HNSWLib.fromDocuments(docsOutput, embeddings)
console.log(vectorStore)

Geovanny Garcia

student•

Al usar un Text Splitter en documentos cargados con un JSON Lines Loader, cada fragmento generado mantendrá los metadatos asociados de manera que se relacionen con su contenido. Si los documentos originales tienen diferentes metadatos, esos metadatos se conservarán en cada fragmento resultante. Esto es esencial para el posterior manejo e indexación, ya que permite mantener la trazabilidad de la información. Es recomendable revisar estos metadatos al crear índices para asegurar la coherencia y efectividad en las búsquedas posteriores.