pueden tambien probar este modelo es un poco pesado pero es multilenguaje con una longitud de 1024 mayor a los 384 y 724 moestrados en la clase
embeddings_hg = HuggingFaceEmbeddings(model_name=“intfloat/multilingual-e5-large”)
Introducción a LangChain
Uso de embeddings con LangChain para sistemas de respuesta.
Creación de Chatbots con Langchain en Python
Cargar modelos de Home and Face en Google Colab con Transformers
Programación de Modelos GPT-3.5 y DaVinci con LangChain
Creación de PromptTemplates en LangChain
Uso de Cadenas Language Chain para Modelos de Lenguaje
Sumarización de PDFs con LangChain y modelos de OpenAI
Búsqueda de respuestas con modelos de lenguaje y bases de datos Chroma
Técnicas de limpieza de texto con Python y Regex
Quiz: Introducción a LangChain
Casos de uso de LangChain
Chatbots con LLMs para atención al cliente eficiente
Privacidad de Datos en Aplicaciones con LLMs
Quiz: Casos de uso de LangChain
Manejo de documentos con índices
Creación de índices en Langchain para consultas precisas
Clase Document en Langchain: Creación y Uso de Esquemas Básicos
Carga y Procesamiento de PDFs y Word con Document Loaders
Leer y convertir archivos CSV a DataFrame de Pandas con LangChain
Creación de Cargadores de JSON-L en Python
Partición de Documentos con TextSplitter de Langstream
Creación de un chatbot con LangChain y OpenAI
Índice Vectorial con Langchain y Chroma para Consultas AI
Quiz: Manejo de documentos con índices
Embeddings y bases de datos vectoriales
Uso de Embeddings para Búsqueda Vectorial Eficiente
OpenAI Embeddings: Creación y Uso en Procesamiento de Texto
Creación de Embeddings Open Source con Sentence Transformers
Entrega de Documentos con ChromaDB
Creación y Manejo de Bases de Datos Vectoriales con Chroma
Creación de un Retriever en Chroma para Bases de Datos Vectoriales
Interacción con IA usando Transformadores y Almacenamiento en Vectores
Creación de Cadena QA con RetrievalQA en LangChain
Quiz: Embeddings y bases de datos vectoriales
Chats y memoria con LangChain
Memoria de Corto Plazo en Chatbots: Implementación en Python
Creación de bloques de mensajes para modelos de chat con LangChain
Variables dinámicas en promts con Langstean
Inyección de Memoria en Modelos de Chat con LangChain y OpenAI
Gestión de ventanas de memoria en chatbots con Python
Programación de Chatbots con Resumen de Memoria en Python
Memoria Avanzada para Chatbots: Buffer y Tokens en Python
Programación de Chatbots con Memoria de Entidades en Ventas
Memoria y recuperación en chatbots: Implementación en Python
Quiz: Chats y memoria con LangChain
Evolución del uso de LLM
Modelos de Lenguaje: Integración y Uso de APIs Avanzadas
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
La posibilidad de trabajar con modelos de embeddings open source nos abre las puertas a un abanico de oportunidades en el mundo del procesamiento de lenguaje natural. Langstream nos permite utilizar estas herramientas, y en esta guía analizaremos cómo implementar de manera eficiente los modelos de embeddings a través de la biblioteca Sentence Transformers. El objetivo es ayudar a los usuarios a configurar y aprovechar estos modelos a su máximo potencial utilizando ejemplos prácticos.
Los Sentence Transformers son modelos de embedding altamente valorados dentro de la comunidad, conocidos por ser de los primeros en su tipo y por su gran potencia. Embeddings, en este contexto, se refiere al proceso de transformar texto en un formato numérico que los algoritmos de machine learning pueden procesar. Esencialmente, convierten oraciones en vectores de números que capturan el significado semántico del texto.
Para empezar a trabajar con estos modelos, debemos importar el componente Sentence Transformer Embeddings
desde la librería de embeddings diseñada para soportarlo en Langstream. Así, se utiliza el modelo "Paraphrase Multilingual Mini LM L12 V2", el cual es un modelo multilingüe que soporta el español.
from langstream.embeddings import SentenceTransformerEmbeddings
embeddings_st = SentenceTransformerEmbeddings(model_name="paraphrase-multilingual-MiniLM-L12-v2")
Los struct embeddings
representan generadores de embeddings de nueva generación altamente eficientes. Aunque aún no hay un modelo de struct embedding que maneje el español específicamente, su rendimiento en otros idiomas es notable.
Para usarlos, importa la librería Instructor Embeddings
y configúralos para funcionar en tu hardware preferido, como CUDA para usar GPU.
from langstream.embeddings import InstructEmbeddings
embeddings_instruct = InstructEmbeddings(model_name="Instructor-Large",
model_kwargs={"device": "cuda"})
Es crucial entender los límites de tokenización de los modelos para evitar cortes de texto y pérdidas de información significativa. Cuando se trabajan con modelos importados desde Hugging Face, podemos determinar el tamaño máximo de tokens aceptados.
max_tokens_instruct = embeddings_instruct.client.max_tokens # 512 tokens
max_tokens_st = embeddings_st.client.max_tokens # 128 tokens
Para otros proveedores, como OpenAI y Cohere, es importante revisar sus documentaciones. OpenAI, por ejemplo, podría aceptar hasta 8000 tokens, mientras que para Cohere el número óptimo es 500 tokens.
Adoptar estas prácticas beneficiará tanto a los proyectos personales como a los empresariales, maximizando la eficiencia al trabajar con grandes volúmenes de texto. Implementar adecuadamente los modelos de embeddings no solo optimiza el rendimiento, sino que también mejora la calidad de las aplicaciones de procesamiento de lenguaje natural.
Aportes 9
Preguntas 1
pueden tambien probar este modelo es un poco pesado pero es multilenguaje con una longitud de 1024 mayor a los 384 y 724 moestrados en la clase
embeddings_hg = HuggingFaceEmbeddings(model_name=“intfloat/multilingual-e5-large”)
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?