Rogger Erikson Cruz Zapata
Creo q esa debió ser la primera clase jejeje los costos de uso 😅😅😅
Juan R. Vergara M.
Sí, buen punto.
Lilián Gómez
Asi es
Cuando empiezas a integrar modelos de OpenAI en tus proyectos, hay un conjunto de buenas prácticas que marcan la diferencia entre un consumo eficiente y una factura inesperada. Aquí te explico cómo controlar el uso, configurar límites de facturación y administrar usuarios desde el panel de OpenAI, pensado para desarrolladores que ya consumen la API y quieren optimizar su flujo.
¿Cómo optimizar el uso de los modelos de OpenAI?
El primer paso es escribir solicitudes claras y con el mayor contexto posible. Cuanto mejor formules tu prompt, mejor responderá el modelo y menos iteraciones gastarás.
Después viene el control de longitud. Aquí entra el concepto de token, la unidad mínima que OpenAI usa para medir texto y cobrarte. Saber cuántos tokens consume un texto te permite anticipar costos y ajustar la respuesta.
También conviene experimentar con hiperparámetros como la temperature, que regula qué tan creativa o determinista es la salida del modelo. Probar distintos valores te ayuda a encontrar el equilibrio entre precisión y variedad.
¿Qué es un token en OpenAI? Es la unidad mínima en la que el modelo divide el texto para procesarlo y facturarlo. Una palabra puede equivaler a uno o varios tokens dependiendo del idioma y la complejidad.
¿Dónde reviso el consumo y la facturación de mi cuenta?
Desde platform.openai.com, en la sección Manage Account, tienes una vista completa de cómo tu organización está usando los modelos [1:24]. Ahí encuentras el nombre de la organización y el ID que la identifica.
Dentro de Usage puedes filtrar por fechas y ver el monto en dólares consumido cada día. Por ejemplo, en una cuenta puedes notar un consumo de 9.21 dólares el 14 de mayo y 28 dólares el 24 de mayo, con un acumulado de 43.17 dólares dentro del límite establecido [2:05]. Esa vista también permite desglosar el gasto por miembros del equipo.
¿Qué son los rate limits y por qué importan?
En la sección Rate limits aparece el tope máximo de tokens por minuto y requests por minuto que cada modelo te permite [2:54]. Conocer estos límites es clave si tu aplicación maneja tráfico alto, porque saturarlos genera errores en producción.
¿Cuál es la diferencia entre soft limit y hard limit?
Dentro de Billing > Usage limits, OpenAI asigna por defecto un tope de 120 dólares por cuenta [3:13]. A partir de ahí puedes configurar dos límites propios:
¿Qué pasa si llego al hard limit? Tu aplicación deja de recibir respuestas de la API hasta que reinicies el ciclo de facturación o aumentes el límite. Por eso conviene fijarlo con margen.
Si necesitas más capacidad, en Request increase llenas un formulario con el ID de tu organización y una descripción del caso de uso para acceder a un rango mayor [3:55].
¿Cómo gestionas seguridad y usuarios en OpenAI?
Usar la API responsablemente implica tres frentes: manejo de errores y excepciones, ética y consideraciones legales y privacidad de los datos. Si vas a personalizar modelos con tu propia información, asegúrate de obtenerla de forma ética y con consentimiento.
El control de usuarios se gestiona en la sección Members del panel [4:38]. Hay dos roles disponibles:
Delimitar bien estos roles evita que cualquier persona del equipo modifique configuraciones críticas o dispare el gasto sin control.
¿Dónde resuelves dudas técnicas adicionales?
OpenAI mantiene un foro abierto donde la comunidad comparte soluciones, casos de uso y respuestas a problemas comunes con la API. Es un buen complemento cuando la documentación oficial se queda corta.
Si ya configuraste tus límites o tienes alguna duda sobre cómo afinar el consumo, déjala en los comentarios.
Rogger Erikson Cruz Zapata
Creo q esa debió ser la primera clase jejeje los costos de uso 😅😅😅
Juan R. Vergara M.
Sí, buen punto.
Lilián Gómez
Asi es
En la página de pricing de OpenAI te ponen una especie de ejemplos, tal vez si buscamos el uso "promedio" de un chat, + el ejemplo, nos podríamos dar una idea aproximada.
miguel laurente
Consulta: Se que se puede especificar el máximo de token por respuesta pero hay forma de saber ¿cuantos tokens se consumen por respuesta?
Jose Miguel Lopez
print("Tokens utilizados:", response.usage.prompt_tokens)
"usage": { "prompt_tokens": 5, "completion_tokens": 150, "total_tokens": 155 }
Nelson Andrés Loyola Salas
no sería más bien por cada solicitud el número total de tokens utilizados (total tokens: prompt + completion):
print('Total tokens utilizados:', response.usage.total_tokens)
Pero si solo se quiere el total de tokens por "completion" sería:
print('Total tokens utilizados en la completion :', response.usage.completion_tokens)
Percy Soria Del Castillo
En la clase anterior sin querer hice un loop infinito a openai, literal veía como se iba el dinero por cada loop, felizmente existía el CTRL+C para cortarlo. 😅😅😅
Mateo Montoya Henao
Aquí tienes una lista de buenas prácticas al usar modelos de OpenAI:
1. Cumple con las políticas de uso
2. Usa los parámetros adecuadamente
3. Escribe prompts claros y efectivos
4. Usa delimitadores para la claridad
5. Intenta el enfoque sin disparos primero, luego el enfoque con pocos disparos si es necesario
6. Proporciona directivas específicas
7. Sé muy específico sobre tu objetivo final
8. Usa el formato de marcado Markdown
o1-2024-12-17, los modelos de razonamiento en la API evitarán generar respuestas con formato de marcado Markdown. Para indicar al modelo cuando desees formato de marcado en la respuesta, incluye la cadena "Formatting re-enabled" en la primera línea de tu mensaje de desarrollador.9. Evita prompts de cadena de pensamiento
10. Usa el enfoque sin disparos primero, luego el enfoque con pocos disparos si es necesario
11. Reduce las descripciones "flacas" e imprecisas
12. En lugar de solo decir lo que no hacer, di lo que hacer en su lugar
13. Usa palabras clave para orientar el modelo hacia un patrón específico
14. Usa la función "Generar Cualquier cosa"
15. Usa el modelo más reciente
16. Respetar la privacidad y los derechos de los creadores
17. No responda con contenido NSFW
18. Usa el sistema de moderación de OpenAI
19. No uses el modelo para actividades no permitidas
20. Mantén un enfoque ético y responsable
Siguiendo estas prácticas, puedes aprovechar al máximo los modelos de OpenAI mientras mantienes un enfoque ético y seguro.
Tabares Hernandez Jose Luis
Sería muy bueno un curso de Llama 2 que es gratis.
Juan R. Vergara M.
💰💸
Luis Rogelio Reyes Hernandez
La idea que yo tengo para medir los costos en mi empresa es: ya que los costos son por request y por lo largo del chat, un ejercicio que recomendaría sería medir cuantas request y cuanto costo sería una interacción esperada de tu chatbot, y lo multiplicas por la cantidad de interacciones que esperas de ese tipo para tener un aproximado de cuanto consumiría tu chatbot.
Seria esto el mejor camino para esto?
Patricio Sánchez Fernández
Claramente, el curso está enfocado en la construcción de un "Chatbot" desde el punto de vista del "desarrollador". Pero recomiendo que al desarrolllar el chatbot, se junten con el equipo de marketing, y si es una empresa de gran envergadura, lo hagan con el equipo de "UX" (experiencia de usuario) Porque hay que pensar fuera de la caja, es decir: El chatbot es para el cliente, no para el quipo de desarrollo, ni para el equipo de marketing, y un chatbot que no responde lo que se pregunta, va a generar un loop eterno de preguntas sin respuestas, ocasionando al menos dos situaciones: 1 Decepción por parte del cliente, sentirá que está perdiendo su tiempo. 2 Un mayor costo, ya que el cliente, al no tener una respuesta, seguirá interactuando con él. Algo muy importante a considerar, el chatbot hay que iterarlo permanentemente, de manera que consiga tener una conversación eficiente con el cliente. Es decir, que dé soluciones.
Abraham Crisanto Parada Calderon
Hola, me gustaria saber si este curso lo tienen actualizado? es necesario que deprequen aquello que poseen modelos o procedimientos que ya no existen para no generar confusion con las nuevas funcionalidades que ofrece OpenAI. Saludos
Erasmo Herrera
Pasar calcular cuando podría ser nuestra facturación mensual comparto los costos de botpress, ofrecen un servicio de chatbot basado en GPT, nos podría ayudar a estimar cuando costara haciéndolo directamente con la API. Ej. botpress 5000 mensajes por $25 usd, probablemente haciéndolo directamente el costo sea un 40% menos.
Supongamos que tenemos 100 usuarios activos mensuales, eso les da 50 mensajes al mes.
Sebastián Vergara Villegas
Antes de hacer una implementación a un cliente, si es que trabajan como consultores y desarrollardores en IA para negocios, dejen en claro que esto requiere un costo mensual de uso de tecnología e intenten cuantificar en medida de lo posible.
He visto proyectos apagarse porque implementan todo y nunca consideraron operación mensual.
Yo lo estimo considerando un número de tokens esperado de input y output por cada ejecución, luego múltiplicando por el valor de los tokens y finalmente multiplicar por la cantidad de ejecuciones mensuales. A eso sumar costo de otras tecnologías asociadas que se requieran para el caso.
Lo otro relevante es poder hacerles la comparación de costos del proceso usando IA y haciéndo algo manual. Ese costo de oportunidad debería ser uno de los grandes criterios de decisión también.
Alex Gary Silvestre Fuentes
no encuentro el link o enlace que se menciona en la clase
Ricardo Mazuera
Lo puedes ver en la sección de recursos debajo del video. Acá te dejo el link:
Alex Gary Silvestre Fuentes
Gracias por el link. Al parecer era un ERROR de platzi ya que en esos días no se encontraba ningún recurso en ningun curso.
Sebastian Gaviria
Con el último lanzamiento de GPT-4 Turbo, se lanzaron servicios adicionales. Ahora hay un servicio de asistencia para desarrolladores:
Jorge onam Barcelo alfaro
si tienes muchos usuarios usando chatgpt, si sale caro muchos toman el modelo y montan su propia infraestructura de AI
John Fredy Ramirez Bedoya
Que buenas recomendaciones para tener un mejor control de los consumos y costos.
Gracias.
Wilson Barrera
los creditos gratuitos expirados todavia se podrian usar luego de que se agoten los nuevos que tengo de la tarjeta de crédito?
Jorge Ivan Meza
si ya expiraron, no.
Carlos
En el caso anterior adivinaranimal, me conviene decirle a gpt que me arme 100 caracterizaras por cada animal, así mi aplicación ya no consumiría creditos de gpt
Arístides Pérez Hernández
¿Qué pasa si supero el soft limit?
Recibirás una alerta por correo electrónico, pero tus aplicaciones seguirán funcionando sin interrupciones. El Soft Limit actúa como un sistema de advertencia temprana. Imagina que es el medidor de gasolina de tu auto encendiendo la luz amarilla; te avisa que estás gastando más de lo previsto, pero no te apaga el motor. Esto es crucial cuando lanzas una aplicación a producción y experimentas un pico de tráfico inesperado. En lugar de que tus usuarios reciban errores porque la API dejó de responder, tú obtienes el tiempo necesario para evaluar si ese consumo es legítimo o si hay un error en tu código que está gastando tokens de más. Para configurarlo estratégicamente, colócalo en un 70% u 80% de tu presupuesto ideal mensual. Así tendrás margen de maniobra para optimizar tus prompts o ajustar parámetros antes de que el gasto se vuelva un problema real.
Arístides Pérez Hernández
¿Cuándo debo asignar el rol de Reader?
Debes usarlo para desarrolladores o miembros del equipo que solo necesitan ejecutar pruebas y consumir la API. El principio de menor privilegio es vital en la seguridad de cualquier proyecto de software. El rol de Reader está diseñado exactamente para esto. Si le das acceso de Owner a todo tu equipo, cualquiera podría modificar los límites de facturación por error, invitar a personas externas o cambiar las tarjetas de crédito. Al asignar el rol de Reader, garantizas que los programadores puedan generar sus API Keys, probar los modelos, ajustar la temperatura de las respuestas y hacer su trabajo técnico sin tocar la configuración financiera. Es la forma más segura de escalar un equipo de desarrollo. Si un Reader expone accidentalmente su clave en un repositorio público, el daño estará contenido por los límites de facturación que tú ya configuraste previamente.
Arístides Pérez Hernández
¿Por qué es mejor configurar un hard limit?
Porque es tu seguro de vida financiero contra errores de código o ataques de denegación de servicio. A diferencia del límite suave que solo te avisa, el Hard Limit corta de tajo cualquier petición adicional a la API una vez que alcanzas el monto en dólares establecido. Imagina que cometes un error en un bucle dentro de tu código en Python y tu aplicación empieza a enviar miles de solicitudes por minuto a OpenAI durante la madrugada. Si no tienes un límite duro, podrías despertar con una factura de cientos o miles de dólares. Al configurarlo, le dices a la plataforma que bajo ninguna circunstancia quieres gastar más de esa cantidad. Es preferible que tu aplicación muestre un error temporal de servicio no disponible a tus usuarios, a que comprometas las finanzas de tu proyecto. Configúralo siempre basándote en el presupuesto máximo absoluto que estás dispuesto a perder.