Fine-tuning de modelo de OpenAI

Sabían que?
Ada: Nombrado en honor a Ada Lovelace, una matemática y escritora del siglo XIX, considerada la primera programadora de la historia. El modelo “Ada” destaca por su enfoque en la precisión y la lógica en el procesamiento del lenguaje natural.

Curie: Inspirado en Marie Curie, la famosa física y química del siglo XIX y XX. El modelo “Curie” se destaca por su capacidad para descubrir patrones y generar respuestas creativas y científicamente precisas.

Babbage: Homenaje a Charles Babbage, un matemático e ingeniero del siglo XIX, conocido como el “padre de las computadoras”. El modelo “Babbage” se enfoca en el procesamiento eficiente y la capacidad de realizar cálculos complejos.

DaVinci: En honor a Leonardo da Vinci, un genio renacentista con talentos en arte, ciencia y muchas otras disciplinas. El modelo “DaVinci” es una obra maestra en el procesamiento del lenguaje, con habilidades excepcionales en creatividad, resolución de problemas y comprensión contextual.

Para no asustarse con los precios:

• El dataset que utiliza la profe tiene unas 1200 entradas con un costo de fine-tuning utilizando el modelo davinci (el cual es el más caro) de $27 dólares.

• El dataset que pasaron en los recursos es más chico, tiene 200 entradas (una sexta parte), por lo que podríamos suponer un costo de $27/6 ~= $4,5 dólares.

• Y si además cambiamos el modelo a ada, el cual tiene un precio 75 veces más barato que davinci, por lo tanto podríamos suponer un costo de $4,5 dólares / 75 ~= $0.06 dólares.

Mejores prácticas generales
El fine tuning funciona mejor con más ejemplos de alta calidad. Para afinar un modelo que funciona mejor idealmente deben ser examinados por humanos. A partir de ahí, el rendimiento tiende a aumentar linealmente con cada duplicación del número de ejemplos. Aumentar el número de ejemplos suele ser la forma mejor y más fiable de mejorar el performance.

Los clasificadores son los modelos más fáciles para comenzar. Para los problemas de clasificación, se deberia usar ada, que generalmente tiende a funcionar solo un poco peor que los modelos más capaces una vez ajustados, mientras que es significativamente más rápido y más barato.

Si está ajustando un conjunto de datos preexistente en lugar de escribir indicaciones desde cero, asegúrense de revisar manualmente sus datos para datos inexactos.
Fuente:https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset

openai api fine_tunes.get -i [Id_modelo]

Te da una perspectiva mas amplia de lo que esta pasando con tu entrenamiento. Si les pasa como a mi que entrenando con curie, se demora muchísimo. (30 min +)

Llevo dos horas intentando y no avanza

Stream interrupted (client disconnected).
To resume the stream, run:
openai api fine_tunes.follow -i ft-SAXHdL7uUeOEXWYt11eI777X

Se supone que tengo un internet simétrico de 300 Mbps

que triste historia la mía

Por si alguien desea entrenar con el modelo gpt-3.5-turbo los comandos de esta clase ya no funcionan, voy a averiguar como hacerlo y actualizo este post