Proyecto de Chatbot: creación de documents de Hugging Face

Les muestro cual serīa el código para cargar los datos usando la clase JSONLoader de langchain.

<code> 
from langchain.document_loaders import JSONLoader  # importar clase
from langchain.text_splitter import RecursiveCharacterTextSplitter

from utils import get_file_path


# funcion metadata para retornar title, repo_owner, repo_name en la metadata del documento
def metadata_func(record: dict, metadata: dict) -> dict:
    metadata["title"] = record.get("title")
    metadata["repo_owner"] = record.get("repo_owner")
    metadata["repo_name"] = record.get("repo_name")

    return metadata


def load_documents(path):
    loader = JSONLoader(
        path,
        json_lines=True,  # indica que el archivo es un jsonl
        jq_schema=".",  # indica que el jsonl tiene un solo elemento por linea, más info en https://python.langchain.com/docs/modules/data_connection/document_loaders/json#common-json-structures-with-jq-schema
        content_key="text",  # indica que el contenido del documento está en la llave "text"
        metadata_func=metadata_func,  # indica que la función metadata_func se usará para obtener la metadata del documento
    )
    data = loader.load()

    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=1600, length_function=len, chunk_overlap=160
    )

    return text_splitter.split_documents(data)

y así quedaría un Documento:

Para hacer split con tokens ```js def load_documents(file_path: str): loader = DocsJSONLLoader(file_path) data = loader.load() print(f"Documents loaded: {len(data)}") # Split by tokens text_splitter_recursive = RecursiveCharacterTextSplitter.from_tiktoken_encoder( model_name="gpt-4", chunk_size=500, chunk_overlap=50, ) return text_splitter_recursive.split_documents(data) ```def load\_documents(file\_path: str): loader = DocsJSONLLoader(file\_path) data = loader.load() print(f"Documents loaded: {len(data)}") \# Split by tokens text\_splitter\_recursive = RecursiveCharacterTextSplitter.from\_tiktoken\_encoder( model\_name="gpt-4", chunk\_size=500, chunk\_overlap=50, ) return text\_splitter\_recursive.split\_documents(data)

Excelente, cada ves se aterriza más lo que podemos hacer apps con esto, esta supremo este curso.