Quotas, limites, costos

Muy buena sesión, deberia haber un apartado exclusivo para precios para los que usamos Azure. Muy buena sesion.

Vi que el AI Search tuvo una Tier standard que vale $245,28/mes. ¿Cómo es ese costo? ¿varía de acuerdo con los mb de los archivos guardados? Es que tengo 2 pdf y no sé si se me cobraría todo eso.

# Quotas, Límites y Costos ## Introducción En el mundo de la inteligencia artificial y los servicios en la nube, es crucial entender y gestionar los recursos de manera eficiente. En esta clase, exploraremos los límites, cuotas y costos de los modelos de inteligencia artificial generativa disponibles en Europa y cómo utilizar esta información para estimar nuestras soluciones o asistentes virtuales. Este conocimiento nos permitirá analizar la cuota asignada a nuestro servicio de OpenAI desplegado en Azure. ## Análisis de Cuotas y Límites Para comenzar, es esencial realizar un análisis de los modelos disponibles en cada región y la cuota asignada a cada uno. Las cuotas pueden variar significativamente entre regiones, y es probable que encontremos diferentes modelos y números de cuotas en cada una. Por ejemplo, en la región este de los Estados Unidos, podemos analizar las cuotas asignadas a los modelos GPT-3.5 Turbo. Al revisar los detalles, podemos ver que un recurso ya ha sido desplegado y se le ha asignado la mitad de la cuota. Esto implica que aún podríamos desplegar otro modelo similar, pero no un tercero sin solicitar un aumento de cuota a Microsoft mediante un formulario justificando nuestra necesidad. ## Monitoreo del Uso de Recursos Para asegurar que nuestras aplicaciones funcionen correctamente, es vital monitorear su uso. Esto incluye analizar cuántos tokens consumimos y cuánto tiempo de procesamiento requerimos, especialmente durante el ajuste fino (fine-tuning) de nuestros modelos con datos propios. Esta información se puede consultar en el portal de Azure, en la sección de monitoreo, donde podemos analizar solicitudes HTTP, tokens utilizados y el comportamiento general de los modelos. ## Estimación de Costos La estimación de costos se realiza mediante la calculadora de Azure. Por ejemplo, para un modelo Ada en la región este de los Estados Unidos, podemos calcular el costo por 1,000 tokens y luego estimar según el número de tokens que esperamos procesar. Es crucial hacer un análisis previo de nuestros datos para determinar el número de tokens necesario y así obtener una estimación precisa. Para la implementación de un asistente virtual, debemos considerar el modelo de lenguaje que utilizaremos y estimar el número de interacciones y usuarios. Esto nos permitirá escalar la estimación de tokens y calcular el costo mensual aproximado. Además, si generamos contenido visual con modelos como DALL-E, debemos estimar el número de imágenes mensuales y su costo. Finalmente, al agregar todos los servicios de Azure OpenAI, obtenemos una estimación del consumo mensual, considerando también la infraestructura necesaria para soportar la solución.

🖐️ Tambien es importante resaltar que es posible contabilizar el costo exacto de cada peticion a través de la llave 'usage' del response de cada peticion al API, con lo cual se puede puede tener un dato mas solido de prediccion del costo/consumo veo que se mantiene el formato original del (response de openai)\[https://platform.openai.com/docs/api-reference/chat/create] `{` ` "id": "chatcmpl-123",` ` "object": "chat.completion",` ` "created": 1677652288,` ` "model": "gpt-3.5-turbo-0125",` ` "system_fingerprint": "fp_44709d6fcb",` ` "choices": [{` ` "index": 0,` ` "message": {` ` "role": "assistant",` ` "content": "\n\nHello there, how may I assist you today?",` ` },` ` "logprobs": null,` ` "finish_reason": "stop"` ` }],` ` "usage": {` ` "prompt_tokens": 9,` ` "completion_tokens": 12,` ` "total_tokens": 21` ` }` `}`

🖐️ Tambien es importante resaltar que es posible contabilizar el costo exacto de cada peticion a través de la llave 'usage' del response de cada peticion al API, con lo cual se puede puede tener un dato mas solido de prediccion del costo/consumo veo que se mantiene el formato original del \[response de openai]\(https://platform.openai.com/docs/api-reference/chat/create) `{` ` "id": "chatcmpl-123",` ` "object": "chat.completion",` ` "created": 1677652288,` ` "model": "gpt-3.5-turbo-0125",` ` "system_fingerprint": "fp_44709d6fcb",` ` "choices": [{` ` "index": 0,` ` "message": {` ` "role": "assistant",` ` "content": "\n\nHello there, how may I assist you today?",` ` },` ` "logprobs": null,` ` "finish_reason": "stop"` ` }],` ` "usage": {` ` "prompt_tokens": 9,` ` "completion_tokens": 12,` ` "total_tokens": 21` ` }` `}`

importantisimo poder controlar este consumos para que no sea tan caro como pareciera ser