Chatea con tus datos no estructurados

**Título: Chatea con tus Datos No Estructurados: Una Guía para Implementar la Arquitectura RAG en Microsoft Azure** **Introducción:** En la era digital, los datos no estructurados se han convertido en una fuente de información inexplorada que puede proporcionar valiosos insights. En esta clase, aprenderemos cómo implementar la arquitectura RAG en Microsoft Azure para chatear con nuestros datos no estructurados. **Creación de una Instancia de Azure Cognitive Search:** El primer paso en la implementación de la arquitectura RAG es la creación de una instancia de Azure Cognitive Search, que nos permitirá indexar nuestra fuente de datos. Una vez creada la instancia, cargaremos nuestros datos y crearemos el índice que integraremos a nuestro asistente virtual. **Definición de la Fuente de Datos:** Para la integración de nuestros datos, es importante definir primero la fuente de datos. En este ejemplo, utilizaremos una cuenta de almacenamiento de Azure, donde crearemos un contenedor para agregar todos los archivos con los que queremos que el chatbot interactúe. **Implementación de Azure Search y Azure Blob Storage:** Una vez que nuestros datos estén disponibles en la fuente de datos, procederemos a implementar Azure Search y Azure Blob Storage. Con Azure Search, podremos crear índices sobre los datos que hemos cargado, mientras que con Azure Blob Storage, podremos almacenar y recuperar grandes cantidades de datos no estructurados. **Configuración de la Búsqueda Vectorial:** Para representar nuestras consultas y datos en un espacio vectorial, necesitamos configurar la búsqueda vectorial. Para ello, proporcionaremos un modelo que nos permita calcular las representaciones vectoriales de nuestros datos. En este ejemplo, utilizaremos el modelo ADA. **Configuración de la Búsqueda Híbrida:** Además de la búsqueda vectorial, también configuraremos la búsqueda híbrida, que combina la búsqueda basada en representaciones vectoriales con la búsqueda basada en palabras. **Chateando con Nuestros Datos:** Una vez finalizado el proceso de indexación, nuestros datos estarán integrados en nuestro asistente virtual y podremos chatear con ellos. Por ejemplo, podríamos preguntar si existen reseñas asociadas a un producto en particular, como una camisa de algodón. El asistente virtual consultará el índice que acabamos de crear, encontrará una respuesta y enriquecerá esa respuesta antes de enviársela al usuario. Además, el asistente virtual nos proporcionará referencias a los documentos en los que se basa su respuesta. **Conclusión:** En esta clase, aprendimos cómo implementar la arquitectura RAG en Microsoft Azure utilizando Azure Portal y Azure Studio. Ahora, no solo puedes implementar la arquitectura RAG con tus propias fuentes de datos, sino que también puedes chatear con tus datos. En la próxima clase, aprenderemos cómo desplegar este asistente virtual como una aplicación web.

Buen día, btengo el siguiente error al tratar de adicionar mis datos: Agradezco mucho su ayuda.

En mi caso uso un app de un tercero basado en Gpt 3.5 y hasta ahora todo ok. Tengo un software y estimamos unos 3M de tokens para prompt y 7M para generación y hasta ahora no los hemos consumido

¿Cómo funciona el costo del Azure Search? ahí veo que la opción estándar cuesta hasta 250 USD. Yo hice el ejercicio y en 1 día me cobró 3 dolares solo con 2 pdf de unos 10mb. Me surge la duda del costo?

Azure tiene un repo con un acelerador que implementa una arquitectura RAG incluyendo seguridad, es muy intresante: <https://github.com/Azure/GPT-RAG>

Azure publicó un acelerador para implementar RAG incluso con una arquitectura segura. <https://github.com/Azure/GPT-RAG>