Gestión de Costos y Retención de Datos en Lansmith

¿Cómo gestionar costos en LangSmith?

En el mundo de la inteligencia artificial, los modelos como GPT requieren pagos por cada token. Similarmente, LangSmith cobra por cada trazo y por el almacenamiento de los mismos. Por ello, es crucial aprender a optimizar estos costos para maximizar el rendimiento de tu presupuesto. ¿Cómo podemos lograr esto? La clave está en distinguir entre trazos base y trazos extendidos.

¿Cuál es la diferencia entre trazos base y extendidos?

Los trazos base y extendidos varían principalmente en el tiempo que permanecen almacenados dentro de la plataforma LangSmith.

• Trazos base: duran 14 días y resultan útiles para conversaciones de prueba y mejoras del agente sin impacto a largo plazo.
• Trazos extendidos: pueden almacenarse hasta 400 días, ideales para interacciones reales con clientes que requieren análisis detallado.

Debido a esta diferencia en duración, LangSmith asigna diferentes costos:

• Costo de trazos base: $0.0005
• Costo de trazos extendidos: $0.005

Esto representa una diferencia de diez veces en el costo, algo a tener presente al decidir qué tipo de trazo utilizar.

¿Cómo establecer límites de uso en Lansmith?

Para evitar exceder nuestro presupuesto, es esencial establecer límites de uso. Antes de aprender a configurarlos, necesitas comprender la estructura organizativa de Lansmith. En cada organización existen:

• Espacios de trabajo: aquí gestionas trazos y conjuntos de datos.
• Proyectos de tracing: los utilizas junto a los datasets dentro de los espacios de trabajo.

Además, a nivel organizativo, puedes manejar planes, facturación y créditos.

¿Cómo configurar la retención de datos?

Para configurar políticas de retención:

1. Accede a la plataforma LangSmith y dirígete a tu proyecto.
2. En la esquina superior derecha, encontrarás un botón para configurar la retención de datos.
3. Puedes establecer trazos como base (14 días) o extendidos (hasta 400 días).

¿Cómo configurar límites de presupuesto?

1. Ve a Settings en la esquina inferior izquierda de la plataforma.
2. Selecciona Usage and billing.
3. Aquí visualizas tu uso hasta la fecha y estableces tus límites de presupuesto. LangSmith te permite ajustar el presupuesto máximo, calculando el costo basado en el total de trazos mensuales permitidos.

Por ejemplo, fijar en 100,000 trazos podría aumentar el costo mensual máximo si comparado con 10,000.

¿Cuáles son las diferencias según el plan?

LangSmith ofrece planes diferenciados e incluye trazos gratuitos en cada uno. Por ejemplo:

• Plan desarrollador: ofrece hasta 5,000 trazos base y extendidos sin costo adicional.
• Plan Plus: incluye 10,000 trazos gratuitos antes de que comiencen a aplicar cargos.

Establecer estos límites te permite anticipar costos sin sobresaltos a fin de mes, brindando una experiencia más controlada y confiable.