📚 CLASE: FRAGMENTACIÓN DE DOCUMENTOS EN BASES DE CONOCIMIENTO
━━━━━━━━━━━━━━━━━━
🎯 IDEA PRINCIPAL
La fragmentación de documentos (chunking) consiste en dividir archivos extensos en fragmentos pequeños para facilitar su búsqueda y recuperación dentro de un sistema RAG.
🟡 El objetivo no es crear fragmentos lo más pequeños posible, sino conservar suficiente contexto para que la IA recupere información útil y genere respuestas precisas.
━━━━━━━━━━━━━━━━━━
⚡ RESUMEN ULTRA RÁPIDO
- 🔵 Chunking: divide documentos en fragmentos que pueden almacenarse y recuperarse individualmente.
- 🟡 Los fragmentos deben conservar el significado y el contexto de la información original.
- 🔵 El tamaño del fragmento y el solapamiento influyen en la calidad de la recuperación.
- 🔴 Fragmentos demasiado pequeños pueden perder contexto; los demasiado grandes pueden mezclar temas diferentes.
- 🟢 Ajusta la fragmentación según el tipo de documento y las preguntas que debe responder tu sistema RAG.
━━━━━━━━━━━━━━━━━━
🔑 LO IMPORTANTE
- 🔵 Tamaño del fragmento: cantidad de texto que contiene cada unidad recuperable, normalmente medida en tokens.
- 🔵 Solapamiento (overlap): contenido compartido entre fragmentos consecutivos para evitar perder información en los límites.
- 🟡 Fragmentación semántica: divide el contenido siguiendo cambios de tema o significado, en lugar de utilizar únicamente una longitud fija.
- 🟡 Respeta títulos, subtítulos, párrafos y secciones cuando ayuden a preservar la estructura del documento.
- 🔴 Evita separar una pregunta de su respuesta, una función de su explicación o una tabla de sus encabezados.
- 🔴 No existe un tamaño universal ideal: depende del contenido, las consultas y el modelo utilizado.
- 🟣 Añade metadatos como nombre del archivo, sección, fecha y categoría para mejorar el filtrado y la trazabilidad.
━━━━━━━━━━━━━━━━━━
🧩 MODELO MENTAL
🟡 Documento → Limpieza → Fragmentación → Embeddings → Indexación → Recuperación
- 🔵 Documento: archivo original que contiene el conocimiento.
- 🔵 Limpieza: elimina ruido y normaliza el contenido sin perder información importante.
- 🔵 Fragmentación: divide el texto en unidades coherentes.
- 🔵 Embeddings: transforma cada fragmento en una representación numérica de su significado.
- 🔵 Indexación: almacena los fragmentos y sus representaciones para facilitar las búsquedas.
- 🟢 Recuperación: devuelve los fragmentos más útiles para responder la consulta.
━━━━━━━━━━━━━━━━━━
🚀 ACCIONES PARA HOY
- 🟢 Selecciona un documento de entre cinco y diez páginas que quieras consultar mediante IA.
- 🟢 Identifica sus títulos, subtítulos, párrafos y secciones antes de fragmentarlo.
- 🟢 Divide el contenido inicialmente por párrafos o secciones coherentes.
- 🟢 Genera cinco preguntas cuyas respuestas aparezcan en distintas partes del documento.
- 🟢 Comprueba si cada pregunta recupera el fragmento correcto y suficiente contexto.
- 🟢 Ajusta el tamaño de los fragmentos y el solapamiento cuando las respuestas pierdan información importante.
━━━━━━━━━━━━━━━━━━
🟣 VENTAJA PROFESIONAL
- 🟣 Documentación técnica: conserva juntas las explicaciones, los requisitos y los pasos relacionados.
- 🟣 Manuales empresariales: utiliza metadatos para filtrar por departamento, producto, versión o fecha.
- 🟣 Consejo experto: compara varias estrategias de fragmentación usando las mismas preguntas de prueba; así podrás identificar cuál funciona mejor.
- 🟣 Optimización: combina fragmentos semánticos con límites máximos de tokens para mantener la coherencia sin exceder el contexto disponible.
- 🔴 Error profesional: evaluar RAG únicamente por la calidad de la respuesta final, sin comprobar si recuperó la información correcta.
━━━━━━━━━━━━━━━━━━
📝 CIERRE
La fragmentación determina cómo la IA encuentra y comprende el conocimiento almacenado. Un documento bien organizado no garantiza buenos resultados si se divide incorrectamente.
La diferencia entre un principiante y un profesional está en medir la calidad de los fragmentos recuperados, no en elegir tamaños al azar.
🟢 Reto: fragmenta un documento, crea cinco preguntas de prueba y comprueba si cada respuesta puede justificarse con los fragmentos recuperados.
Este gráfico representa el flujo de cómo funciona un sistema de RAG (Retrieval-Augmented Generation), que combina bases de datos vectoriales y modelos de lenguaje (LLM) para responder preguntas con base en documentos externos. Explicación paso a paso en palabras simples: