Controlar el consumo y las llamadas que reciben tus modelos de inteligencia artificial generativa es fundamental para garantizar la estabilidad, seguridad y escalabilidad de cualquier solución desplegada en la nube. A continuación se explican dos estrategias clave para lograrlo: Log Analytics y API Management, ambas disponibles dentro del ecosistema de Microsoft Azure.
¿Cómo configurar Log Analytics para rastrear el uso de Azure OpenAI?
El primer paso consiste en acceder a la configuración del recurso de Azure OpenAI Service en Azure Portal. Dentro de la sección Diagnostic Settings [0:29] se crea una nueva configuración donde se especifica el tipo de logs y métricas que se desean capturar. Esta información puede enviarse a diferentes destinos: un Log Analytics workspace, un storage account, un Event Hub o incluso una solución de un partner externo.
Para trabajar con Log Analytics se necesita un workspace dedicado. Si aún no existe, se despliega una nueva instancia indicando el nombre y la región deseada [1:28]. El proceso tarda entre uno y dos minutos. Una vez disponible, se vincula al recurso de Azure OpenAI para que todas las peticiones queden registradas automáticamente.
¿Qué tipo de análisis permite Log Analytics?
Dentro de la sección de logs del workspace se pueden ejecutar consultas que resumen las peticiones recibidas en un periodo determinado [2:32]. Por ejemplo, es posible obtener un histórico de llamadas a un modelo de embedding como Ada y detectar patrones de error cuando se alcanzan cuotas de uso. Esta visibilidad ayuda a tomar decisiones de arquitectura, como desplegar instancias adicionales para aumentar la capacidad de cómputo [3:18].
- Las métricas incluyen volumen de peticiones, códigos de respuesta y tiempos.
- Los resultados aparecen tras unos minutos de configurado el diagnóstico.
- Un workspace con más de una hora de datos ofrece análisis más completos.
¿Qué ventajas aporta API Management al monitoreo de Azure OpenAI?
API Management permite un control más granular porque registra no solo las métricas de uso, sino también el contenido de cada petición enviada al servicio [5:22]. Esto resulta especialmente útil para auditar los prompts que reciben los modelos y detectar, por ejemplo, solicitudes que podrían generar contenido dañino o de autolesión.
¿Cómo se registra una API de OpenAI en API Management?
El proceso sigue estos pasos:
- Registrar el endpoint: se indica la URL del recurso de Azure OpenAI y se asigna un nombre [3:53].
- Agregar el API key: puede almacenarse directamente como un named value o, de forma más segura, guardarse en un Key Vault [4:08].
- Crear la API con el archivo Swagger: este archivo describe los endpoints disponibles y las credenciales necesarias para la conexión [4:28].
- Definir políticas de monitoreo: se configuran reglas que determinan qué datos se registran en cada llamada entrante [4:56].
Una vez completada la configuración, las aplicaciones dejan de apuntar directamente al endpoint de Azure OpenAI y pasan a utilizar la URL proporcionada por API Management. Para autenticarse se utiliza un subscription key que se genera automáticamente tras el registro del servicio [6:08].
¿Cómo configurar alertas para detectar errores en tiempo real?
Azure ofrece una funcionalidad de alertas directamente en el recurso que se desea monitorear [6:50]. Se pueden crear reglas que disparen acciones automáticas cuando se supere un umbral de errores en peticiones de chat completions o completions. Las acciones posibles incluyen:
- Enviar un correo electrónico al administrador de la aplicación.
- Ejecutar una notificación a través de otros canales configurados.
Esta capacidad de notificación proactiva complementa el análisis retrospectivo que ofrecen Log Analytics y API Management, cerrando así el ciclo completo de observabilidad.
¿Cuándo usar cada estrategia de monitoreo?
Log Analytics es ideal para obtener una vista general del comportamiento del servicio: volumen de llamadas, errores por cuota y tendencias de uso. API Management, en cambio, brinda la posibilidad de inspeccionar el detalle de cada prompt enviado, lo que resulta crítico en escenarios donde la seguridad del contenido y la auditoría son prioridad. Ambas estrategias son complementarias y se recomienda implementarlas en conjunto para cubrir tanto el análisis operativo como el de contenido.
Si ya tienes un recurso de Azure OpenAI en producción, prueba ambas configuraciones y comparte tu experiencia sobre cuál se adapta mejor a las necesidades de tu proyecto.
