Integración de Reranking Semántico en Buscadores por Palabras Clave

Curso de LangChain para Manejo y Recuperación de Documentos

Contenido del curso

Manejo de documentos

Indexación de vectores

Recuperación de documentos

Re-ranking semántico

RAG

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:007:34

Integración de Reranking Semántico en Buscadores por Palabras Clave

Curso de LangChain para Manejo y Recuperación de Documentos

Clase 13 de 17

Clase 13 / 17

Comentarios (3)3 comentarios

Paulo Esteban Orsini

Hace 2 años

Jesús cuando debemos elegir un modelo de Cohere en lugar de OpenAI?

Edgar A. Gonzalez Ambriz

Hace 2 años

¿ Alguien sabe el costo de una licencia de Cohere ?

David Hernando Henao Marulanda

Hace un año

Cohere offers a range of pricing options depending on the model and usage. For Command R, the pricing is $0.50 per million input tokens and $1.50 per million output tokens. Command R+ is priced at $3.00 per million input tokens and $15.00 per million output tokens. Fine-tuned Command R models are $2.00 per million input tokens, $4.00 per million output tokens, and $8.00 per million training tokens. Trial API keys offer free, limited usage for testing, while production keys are paid and offer higher throughput.

Edgar A. Gonzalez Ambriz

Hace un año

Agradezco el comentario David

Alejandro Nieto

Hace 2 años

Solo vine a dejar un comentario, ya que se ve muy "forever alone" la clase sin comentarios🤭

Recursos

Potenciar los resultados de búsqueda de tu empresa sin reemplazar toda la infraestructura es posible gracias al reranking semántico. Esta técnica te permite mantener tu buscador por palabras clave existente y añadir una capa inteligente que reordena los resultados considerando el significado real de la consulta del usuario, no solo las coincidencias textuales.

¿Qué es el reranking semántico y por qué mejora tus búsquedas?

El flujo es directo: primero se ejecuta la búsqueda tradicional por palabras clave, que devuelve documentos relevantes de forma rápida. Después, esos documentos pasan por una segunda etapa donde se reordenan utilizando embeddings [0:20]. Estos embeddings capturan la esencia semántica de la query original, lo que permite que los resultados reflejen mejor la intención del usuario y no solo la coincidencia literal de palabras.

Cohere ofrece un servicio llamado Cohere ReRank que facilita esta implementación. A través de su API, envías una query, los documentos candidatos, el número de resultados deseados y el modelo a utilizar. Con eso obtienes los documentos reordenados semánticamente, listos para alimentar un modelo de lenguaje o para devolverlos directamente en tu sistema de búsqueda [0:52].

¿Cómo obtener tu API key de Cohere?

Para usar el servicio necesitas crear una cuenta en Cohere [1:18]. Una vez dentro del dashboard, busca la sección API Keys. Cohere provee una trial key por defecto que puedes copiar y pegar en tu archivo .env para que tu proyecto la detecte automáticamente [1:40].

¿Qué es BM25 y cómo funciona como buscador por palabras clave?

En la implementación práctica se utiliza el retriever BM25 como simulación del buscador por palabras clave que tu empresa ya podría tener [2:10]. A diferencia de un buscador básico que solo verifica si una palabra existe o no, BM25 considera la frecuencia de aparición de los términos, lo que entrega resultados más precisos. Este componente podría ser reemplazado por cualquier endpoint real, como un sistema con Elasticsearch [2:38].

Los pasos de implementación son:

Cargar los documentos e inicializar el retriever con el método from_documents.
Pasar una query y definir cuántos resultados retornar.
Obtener los documentos relevantes por coincidencia de palabras clave.

En el ejemplo se obtienen cien documentos rápidamente [3:10], lo cual es típico de las búsquedas por palabras clave: son veloces pero devuelven muchos resultados sin un orden semántico óptimo.

¿Cómo implementar Cohere ReRank en tu código?

Se crea un cliente de Cohere con cohere.Client, que toma la API key desde el archivo de ambiente [3:25]. Una vez listo, se llama al endpoint de Cohere ReRank con los siguientes parámetros:

query: la pregunta del usuario.
documents: el texto extraído de los documentos relevantes mediante un list comprehension que obtiene doc.page_content de cada documento de LangChain [3:55].
top_n: el número de documentos a retornar, en este caso diez.
model: el modelo de reranking, como rerank-multilingual-v2.0 [4:15].

python reranked_hits = co.rerank( query=query, documents=[doc.page_content for doc in relevant_docs], top_n=10, model="rerank-multilingual-v2.0" )

Cada resultado incluye un índice (hit.index) que referencia la posición del documento en la lista original, junto con su metadata y source [4:42].

¿Qué diferencia real produce el reranking en los resultados?

La diferencia es notable. Al preguntar "cómo integrar LangChain Expression Language en mi cadena de generación aumentada", la búsqueda por palabras clave retornaba documentos sobre memoria en las primeras posiciones [5:10]. Tras aplicar el reranking semántico, el primer resultado fue Expression Language Cookbook, que refleja con precisión la intención de la consulta [5:00].

Esto demuestra que el reranking semántico reordena los resultados para alinearlos con el significado de la pregunta, no solo con las palabras que contiene. Tu modelo de lenguaje recibe así un subconjunto compacto y relevante de diez documentos, listo para generar respuestas de calidad.

Si ya tienes un sistema de búsqueda funcionando, integrar Cohere ReRank es una forma práctica de mejorar la precisión sin reconstruir nada. ¿Has probado combinar búsqueda por palabras clave con reranking semántico en tus proyectos?

Resumen

¿Qué es el reranking semántico y por qué mejora tus búsquedas?

¿Cómo obtener tu API key de Cohere?

¿Qué es BM25 y cómo funciona como buscador por palabras clave?

Los pasos de implementación son:

Cargar los documentos e inicializar el retriever con el método from_documents.
Pasar una query y definir cuántos resultados retornar.
Obtener los documentos relevantes por coincidencia de palabras clave.

¿Cómo implementar Cohere ReRank en tu código?

Se crea un cliente de Cohere con cohere.Client, que toma la API key desde el archivo de ambiente [3:25]. Una vez listo, se llama al endpoint de Cohere ReRank con los siguientes parámetros:

query: la pregunta del usuario.
documents: el texto extraído de los documentos relevantes mediante un list comprehension que obtiene doc.page_content de cada documento de LangChain [3:55].
top_n: el número de documentos a retornar, en este caso diez.
model: el modelo de reranking, como rerank-multilingual-v2.0 [4:15].

python reranked_hits = co.rerank( query=query, documents=[doc.page_content for doc in relevant_docs], top_n=10, model="rerank-multilingual-v2.0" )

Cada resultado incluye un índice (hit.index) que referencia la posición del documento en la lista original, junto con su metadata y source [4:42].

¿Qué diferencia real produce el reranking en los resultados?

Manejo de documentos

Extracción y Fragmentación de Texto para IA

Extracción de Texto Contextual en HTML: Técnicas y Aplicaciones

Extracción de Texto en PDFs con Doku Gami

Fragmentación de Texto con Contexto en Documentos de Programación

Indexación de vectores

Indexación de Vectores para Optimizar Bases de Datos

Indexación Incremental y Limpieza de Vectores Duplicados

Recuperación de documentos

Recuperación y fragmentación de documentos para consultas eficaces

Fragmentación de Documentos para Modelos de Lenguaje

Etiquetado y Filtrado de Documentos con Modelos de Lenguaje

Filtrado Inteligente de Documentos con Metadatos y Modelos de Lenguaje

Implementación de MultiQuery Retrievers con LangChain y Pydantic

Combinación de Retrievers para Búsqueda de Documentos Relevantes

Re-ranking semántico

Integración de Reranking Semántico en Buscadores por Palabras Clave

Ranking por Relevancia Marginal Máxima en Documentos

Reordenamiento de Documentos en Recuperación Mejorada de Información

RAG

Implementación de Sistemas RAG para Mejora de Chatbots

Creación de Aplicación con Streamlit para Procesamiento de Documentos

Integración de Reranking Semántico en Buscadores por Palabras Clave

Progreso del curso

Manejo de documentos

Indexación de vectores

Recuperación de documentos

Re-ranking semántico

RAG

Recursos

Recursos