Los modelos de lenguaje tienen memoria limitada: solo saben lo que vieron durante su entrenamiento. Si necesitas que respondan sobre la documentación de tu empresa o las especificaciones de un producto muy específico, los índices en LangChain son la pieza que conecta tus datos con el modelo para generar respuestas precisas.
¿Cómo recuerda información un modelo de lenguaje?
Un LLM accede a información por dos vías y entender la diferencia es clave para construir aplicaciones útiles.
- Datos de entrenamiento: el modelo solo recuerda lo que vio hasta cierto corte temporal y dentro de los temas con los que fue entrenado.
- Contenido inyectado en el prompt: tú le pasas el contexto necesario en el momento de la consulta para que responda con información actualizada o privada.
La segunda vía es la que abre la puerta a casos reales como chatbots de soporte, asistentes legales o buscadores internos. Y aquí entran los índices.
¿Qué es un índice en LangChain? Es una estructura que carga, parte y organiza tus documentos para que el modelo encuentre los fragmentos más relevantes a la pregunta del usuario y los use como contexto en el prompt.
¿Por qué necesitas partir los documentos antes de indexarlos?
Un prompt no es infinito. Si tienes un PDF de 800 páginas, no cabe completo en una sola consulta al modelo. Por eso el flujo de un índice incluye una etapa de transformación.
El proceso típico se ve así:
- Cargar la información desde la fuente original: PDF, Word, Excel, CSV y más formatos que se siguen sumando.
- Partir los documentos con un text splitter. Esas 800 páginas pueden convertirse en 1600 fragmentos más pequeños y manejables.
- Crear embeddings, es decir, convertir el texto en números que representen su significado.
- Guardar esos vectores en un vector store, que es donde vive el índice.
Después de este pipeline, tu información ya está lista para ser consultada de forma inteligente.
¿Cómo funciona una consulta sobre el índice?
Cuando el usuario escribe un query en tu chatbot, ese texto también se convierte en un vector y se compara contra el vector store. El sistema devuelve los fragmentos con mayor probabilidad de contener la respuesta y los inserta en el prompt junto a la pregunta original.
El modelo recibe entonces dos cosas: la pregunta y los pedazos exactos de tu documentación que necesita para responder. Así evitas alucinaciones y ganas precisión sin reentrenar nada.
¿Qué es un embedding? Es la representación numérica de un texto que permite medir similitud semántica. Dos frases con significado parecido tendrán vectores cercanos en el vector store.
¿Qué tipo de datos puedes indexar con LangChain?
Aquí está lo interesante: puedes trabajar con datos no estructurados, que son justamente los que más abundan en cualquier organización.
- Texto extraído de archivos PDF.
- Documentos de Word.
- Hojas de cálculo en Excel o archivos CSV.
- Y más fuentes que se integran cada día al ecosistema.
La idea es unificar toda esa información dispersa, convertirla en un índice consultable y generar inteligencia sobre ella. En vez de leer manualmente un PDF de 800 páginas para responder una duda, el índice te entrega los fragmentos exactos que resuelven la pregunta.
¿Qué es un vector store? Es la base de datos especializada donde se almacenan los embeddings de tus documentos para que puedan ser buscados por similitud semántica de forma rápida.
En las siguientes clases vas a ver cómo cargar diferentes tipos de documentos a LangChain usando los documents. ¿Qué tipo de información te gustaría indexar primero en tu proyecto?
