El fine tuning de modelos GPT te permite entrenar un asistente con datos y ejemplos propios para lograr respuestas más precisas, controladas y económicas que ajustar solo el system prompt. Es la técnica ideal cuando necesitas que el modelo responda dentro de un dominio muy acotado, como una tienda de electrónicos o la generación de código específico.

¿Qué es el fine tuning y cuándo conviene usarlo?

Antes de llegar al fine tuning, sueles ajustar dos palancas: las instrucciones del system prompt y la técnica de few-shot prompting, que consiste en darle ejemplos al modelo dentro de la conversación para que aprenda a responder mejor.

Esas dos técnicas funcionan bien, pero tienen un límite. Cuando necesitas más precisión y control real sobre cómo se comporta el asistente, el fine tuning entra en juego. Aquí ya no le hablas al modelo con instrucciones: lo entrenas con muchos datos y ejemplos para que internalice el comportamiento esperado.

¿Qué es el fine tuning en OpenAI? Es una técnica de entrenamiento que ajusta un modelo GPT con tus propios datos para que responda con un estilo, tono o conocimiento específico, en lugar de depender solo de instrucciones en el prompt.

¿Por qué hacer fine tuning en lugar de usar solo prompts?

La razón principal es control. Imagina un asistente de una tienda de electrónicos: quieres que hable solo de los productos de esa tienda, no del mundo entero ni de otras industrias. Si además le diste una personalidad o una mascota de marca, el fine tuning asegura que mantenga ese carácter sin desviarse [02:00].

Los beneficios concretos son tres:

• Mayor precisión en respuestas dentro de un dominio limitado.
• Mayor rapidez en la inferencia.
• Menor coste comparado con cargar instrucciones largas en el system prompt cada vez.

¿Qué modelos de OpenAI permiten fine tuning?

No todos los modelos GPT aceptan fine tuning. OpenAI habilita un grupo reducido y la lista cambia con el tiempo, así que conviene revisar la documentación oficial al momento de entrenar.

Entre los disponibles, los GPT-3.5 Turbo son una opción sólida. Pero si buscas el equilibrio entre calidad y precio, el recomendado es GPT-4o Mini [03:30]. Ofrece buen rendimiento a un coste accesible y suele ser la elección por defecto para casos de uso productivos.

¿Para qué casos de uso sirve el fine tuning?

Los casos clásicos donde el ajuste fino brilla son:

• Establecer estilo, tono y formato consistentes.
• Mejorar la confiabilidad del modelo en tareas repetitivas.
• Producir resultados muy específicos en dominios cerrados.
• Generar código con una sintaxis y librería concretas.

Un ejemplo real es Generative Manim, un proyecto donde se usan modelos GPT para producir código Python que luego se traduce en animaciones [04:30]. Ahí no necesitas que el modelo diga "hola, para esta animación necesitas hacer lo siguiente". Solo necesitas el código, limpio y funcional.

En ese proyecto se han entrenado varios modelos fine tuned: uno básico que entiende la librería completa y otro dedicado solo a física. Cuando le pides generar tres círculos en diferentes colores, devuelve el código listo, sin introducciones ni explicaciones extra. Ese nivel de enfoque es lo que el fine tuning hace posible incluso con un modelo 3.5, llegando a una eficiencia parecida a la de GPT-4o.

¿Cuánto cuesta entrenar un modelo con fine tuning?

El costo es uno de los argumentos fuertes a favor. Hace un par de años OpenAI medía precios por cada 1.000 tokens, pero ahora la unidad estándar es 1 millón de tokens [06:00]. Para estimar tu gasto, puedes usar la herramienta tokenizador de OpenAI antes de lanzar el entrenamiento.

¿Cuánto cuesta hacer fine tuning de GPT-4o Mini? El input ronda los 0,3 dólares por millón de tokens. Para un caso de uso pequeño como el que veremos a continuación, el gasto total aproximado es de 1,28 dólares.

Si ese presupuesto se sale de lo que tenías pensado, puedes reducir el tamaño del dataset de ejemplo y bajar el costo proporcionalmente. También existe la batch API, que permite procesar entrenamientos en lote a un precio aún menor, una opción útil cuando trabajas con grandes volúmenes.

¿Qué viene después de entender la teoría?

Con estos conceptos claros (qué es el fine tuning, en qué modelos aplica, cuándo conviene y cuánto cuesta) ya tienes el marco para pasar a la práctica. El siguiente paso es preparar el dataset, subirlo a OpenAI y lanzar el entrenamiento de tu primer modelo ajustado.

¿Qué caso de uso vas a entrenar tú? Cuéntalo en los comentarios y comparte qué dominio te gustaría acotar con un modelo propio.