No tienes acceso a esta clase

¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera

Costos de uso de OpenAI: tokenización de texto

10/24
Recursos

En el vasto universo de las tecnologías de inteligencia artificial, el entendimiento y la optimización de costos representan un aspecto fundamental para desarrolladores y entusiastas. Los modelos de OpenAI no son la excepción. Profundizar en su funcionamiento, especialmente en la tokenización de texto, no solo es atractivo, sino esencial para la gestión eficiente de recursos. Vamos a explorar este tema con detenimiento.

¿Qué es la tokenización de texto y por qué es importante?

La tokenización de texto es un proceso clave en el uso de modelos de Inteligencia Artificial como los ofrecidos por OpenAI. Pero, ¿qué significa esto exactamente y cuál es su relevancia?

¿Cómo funciona la tokenización?

Cuando ingresamos una frase o un párrafo a la plataforma de OpenAI para procesarla con sus modelos IA, este texto se descompone en unidades conocidas como "tokens". Estos son segmentos de texto que podrían ser palabras, partes de palabras o incluso caracteres individuales. La IA utiliza un enfoque estadístico para decidir cómo realizar esta segmentación, basándose en la probabilidad de que ciertos caracteres aparezcan agrupados.

¿Por qué es importante para los costos en OpenAI?

Cada "token" contabilizado en este proceso influye en el costo de usar los modelos de inteligencia artificial. En el Playground de tokenización de OpenAI, al observar cómo una frase es tokenizada y cuántos tokens son generados, los usuarios ganan perspectiva sobre el precio que OpenAI cobrará por procesar ese texto, ya sea a través de una entrada de datos o generando un resultado.

Explorando el Pricing de OpenAI: Modelos y Costos

Es fundamental comprender cómo OpenAI estructura sus tarifas para hacer un uso más eficiente y predecir costos al utilizar sus modelos de IA.

¿Qué modelos ofrece OpenAI y cuáles son sus costos?

OpenAI dispone de diversos modelos con distintas capacidades y tarifas. Por ejemplo:

  • GPT-4: Tiene costos asociados tanto por la cantidad de tokens en el prompt como por la respuesta generada.
  • GPT-3.5 Turbo: Presenta un costo único basado en la cantidad de tokens generados.
  • InstructGPT: Incluye modelos como ADA, Babbage, Curie y DaVinci, siendo este último el más potente según documentación.

¿Cómo se calcula el costo por uso y entrenamiento?

Con el modelo de "fine tuning" se puede personalizar el asistente tentando en cuenta dos costos: el entrenamiento y el uso posterior. El entrenamiento implica un costo basado en el número de tokens del set de datos utilizado para personalizar el modelo, mientras que el costo por uso se calcula a partir de la interacción con el modelo ya entrenado.

Reto práctico: Explora la tokenización y sus costos

Ahora que tienes una idea clara de cómo la tokenización incide en el costo de los modelos de OpenAI, te desafío a aplicar este conocimiento:

  1. Ingresa al Playground de tokenización de OpenAI.
  2. Experimenta tokenizando cinco frases diferentes.
  3. Analiza el número de tokens resultante y su influencia en el costo de utilizar modelos como InstructGPT.

Este ejercicio práctico no solo te permitirá entender mejor el funcionamiento de la tokenización, sino que también te proporcionará una visión más clara de cómo gestionar tus recursos al trabajar con inteligencia artificial. Nos vemos en la próxima clase para continuar con esta emocionante jornada de aprendizaje.

Aportes 9

Preguntas 0

Ordenar por:

¿Quieres ver más aportes, preguntas y respuestas de la comunidad?

Costos de uso de OpenAI: tokenización de texto

  • Ada-(La más rápida)
    $0.0004 / 1K tokens
    Es el más rápido de los modelos enumerados, es una opción rentable para aplicaciones donde la velocidad es un factor crítico, como en aplicaciones de servicio al cliente o chatbot.

  • Babbage
    $0.0005 / 1K tokens
    Es un poco más lento que Ada, pero aun así ofrece una opción rápida y eficiente para tareas de procesamiento de lenguaje natural.

  • Curie
    $0.0020 / 1K tokens
    Es más caro que Ada y Babbage. Sin embargo, ofrece capacidades más avanzadas que los modelos más rápidos, lo que lo convierte en una buena opción para aplicaciones que requieren un procesamiento más complejo.

  • Davinci (el más poderoso)
    $0.0200 / 1K tokens
    El modelo más poderoso de la lista es Davinci, que ofrece las capacidades más avanzadas para tareas de procesamiento de lenguaje natural. Sin embargo, es la opción más cara de la lista. Es ideal para aplicaciones donde la precisión y las respuestas matizadas son fundamentales, como en escenarios complejos de atención al cliente o proyectos de investigación.
    .
    Ejemplo de calculo del reto:
    Le pregunte a chat gpt: Menciona las mejores arquitecturas de desarrollo de software.

  • Hice el calculo en la herramienta de tokenizacion

    .
    Podemos ver que una respuesta casi utiliza en su totalidad los 1000 tokens.

En casos de ser 5 peticiones(pregunta+respuesta) serian alrededor:
Ada --> 0.0005 * 5 = $0.0025
Davinci --> 0.0200 * 5 = $0.1
Se notan mas exponencial si hacemos el calculo para varios usuario utilizando varios dias por distintos horarios por dia.

Mis notas de la clase en https://mint-maraca-bfd.notion.site/Curso-de-Desarrollo-de-Chatbots-con-OpenAI-67ef813ab7af44edb5ba60ab0efa4b0f?pvs=4

Tambien Hice una pequeña tabla donde se puede ver la comparativa de los costos de los modelos al usar 1000 tokens tanto en la entrada como en la salida

Modelo Costo enviar pregunta Costo recibir respuesta Costo total
GPT-3.5 Turbo 4K context $0.0015 * 5 = 0,0075 $0.002 * 5 =0,01 $0,0175
Davinci Pre Trained $0.1200 * 5 = 0.6 $0.1200 * 5 = 0.6 $1,2
Ada Pretrained $0.0016 * 5 = 0.008 $0.0016 * 5 = 0.008 $0,016

a 17 de septiembre 2023 por ejemplo para hacer fine tuning con gpt-3.5-turbo a un costo de 0.0160 por cada 1000 tokens entonces podriamos decir que estaríamos gastando 1 dolar por cada 62.500 tokens?

GPT-4 esta a $.03 por 1K tokens de entrada y obtuve 63 lo cual sale en $0.00189 USD y de salida 320 tokens los cuales estan a $.06 por cada 1K lo cual me da un total de .0192 USD

El tokenizer acá <https://platform.openai.com/tokenizer>
Deberían hacer un curso para hacer un asistente basado en GPT.
Donde puedo encontrar los rescuros de la clase
no pausen platzzi gente que pasan cosas raras ajjaja ![](https://static.platzi.com/media/user_upload/image-91ea4a28-4956-41b2-9757-98111a0cddd6.jpg)

Ahora los precios para el fine-tuning con los nuevos modelos (babbage-002, davinci-002, GPT-3.5 Turbo) es mucho más economico que con los que van a quedar obsoletos (ada, babbage, curie, davinci) - https://openai.com/pricing