Uso de OpenAI Batch

Usar OpenAI Batch para agilizar tus tareas

¿Sabías que puedes optimizar el uso de los modelos de OpenAI para procesar largos artículos de Wikipedia y obtener resúmenes efectivos? Con OpenAI Batch, es posible realizar este proceso de manera eficiente y con ahorro de costos. Permite manejar grandes volúmenes de datos con un cincuenta por ciento de descuento en la factura, en tiempos que van de cero a veinticuatro horas. La utilización efectiva de esta herramienta es crucial para quienes manejan grandes cantidades de información.

¿Qué se necesita para empezar?

Para poder sacar el máximo provecho de OpenAI Batch, debemos formatear nuestros "request" en JSONL (JavaScript Object Notation Lines), un formato que facilita la correlación entre la información enviada y la respuesta obtenida. Aquí te mostramos los pasos iniciales para crear nuestro archivo JSONL de entrada:

• Custom ID: asigna un identificador único que permita correlacionar la petición original con la respuesta. Puede ser un enlace de Wikipedia o una nomenclatura personal que se relacione con el contenido.
• Método POST: especifica que el método de solicitud será POST.
• URL de la API: la URL debe dirigirse a la API de chat completions de OpenAI.
• Cuerpo del mensaje: define el modelo a usar y el sistema promt, que determinará el rol del asistente (por ejemplo, resumir artículos de Wikipedia).

{
  "custom_id": "001",
  "method": "POST",
  "url": "https://api.openai.com/v1/chat/completions",
  "params": {
    "model": "modelo-XYZ",
    "messages": [
      {
        "role": "system",
        "content": "Eres un asistente que resume articulos de Wikipedia."
      },
      {
        "role": "user",
        "content": "texto largo del articulo a resumir..."
      }
    ]
  }
}

¿Cómo subir el archivo a OpenAI Batch?

Una vez preparado el archivo JSONL, procedemos a subirlo en la plataforma de OpenAI Batch. Sigue estos pasos:

1. Accede al Dashboard de la plataforma y dirígete a la sección de "Batches".
2. Crear un nuevo batch: usa el botón verde "Create" y selecciona el archivo JSONL que preparaste.
3. Ventana de completado: aunque actualmente solo permite una ventana de veinticuatro horas, es probable que en el futuro se ofrezcan más opciones.
4. Iniciar el batch: una vez validado y libre de errores, el batch comenzará su procesamiento.

¿Qué esperar después de enviar el batch?

Una vez enviado el batch, el sistema lo procesa progresivamente, mostrando el progreso y el estado:

• Estado de validación: confirmará que el JSON esté correctamente estructurado.
• Progreso del procesamiento: te mostrará cuántos de los request han sido procesados con éxito.
• Resultados: al concluir, obtendrás un archivo con el batch ID y el custom ID, permitiendo emparejar los resultados con la entrada original.

{
  "batch_id": "auto-generated-batch-id",
  "custom_id": "001",
  "output": "Resumen del texto..."
}

¿Por qué explorar OpenAI Batch?

OpenAI Batch es una herramienta poderosa para aquellos que manejan grandes volúmenes de información y buscan optimizar costos y tiempos. Aunque el proceso puede tardar hasta un día, la espera se justifica cuando el tiempo de respuesta inmediato no es crucial. Además, todos los modelos de OpenAI, incluidos aquellos utilizados para fine-tuning, son compatibles con esta función. Por lo tanto, si buscas una solución eficiente para analizar grandes cantidades de datos, OpenAI Batch puede ser tu mejor aliado.