Fine Tuning de Modelos OpenAI: Proceso y Solución de Errores

Clase 14 de 24 • Curso de Desarrollo de Chatbots con OpenAI

Resumen

El proceso de personalización de modelos de inteligencia artificial está en boga, y por una buena razón. Adaptar un modelo a las necesidades específicas de un proyecto puede significar la diferencia entre un asistente digital que apenas funcione y uno que parezca casi humano. En esta ocasión, te guiaré en cómo hacer "fine tuning" a los modelos de OpenAI utilizando los datos en formato JSONL. No te preocupes, es un proceso menos complejo de lo que suena.

Personaliza tu modelo de IA con `fine tuning`

Cuando hablamos de "fine tuning", nos referimos a afinar un modelo preentrenado para que se especialice en tareas específicas. Imagina que es como ajustar las cuerdas de una guitarra para que suene a la perfección en tu próxima canción.

¿Por qué es importante el `fine tuning`?

El "fine tuning" es crucial porque permite que el modelo se ajuste a las particularidades del lenguaje y las tareas específicas para las que lo queremos utilizar. Es el paso final que puede dar a tu modelo ese toque especial que lo distingue.

¿Qué modelos de OpenAI se pueden personalizar con `fine tuning`?

Aquí es importante recordar algo crucial: No todos los modelos son maleables a nuestros caprichos. Solo ADA, Babbage, Curie y DaVinci de OpenAI están listos para pasar por este proceso de personalización.

Paso a paso: Realizando el `fine tuning`

El proceso inicia con un comando proporcionado en la documentación de OpenAI, que pegaremos en la terminal:

Primero, localizas el comando para "fine tuning" en la documentación de OpenAI.
Copia el comando en tu terminal.
Modifica el segmento donde seleccionas tu archivo en formato JSONL reemplazando data_yourfile.jsonl.
Sustituye -m con el modelo que quieras personalizar, por ejemplo, davinci.

Una vez que ejecutes el comando, deberás esperar un poco. La paciencia es una virtud, especialmente cuando estás a la espera de que una máquina aprenda de más de 2,000 ejemplos de entrenamiento.

Problemas comunes: Conexión a Internet y desconexiones

Uno de los problemas más comunes es la desconexión durante el proceso, esto puede ocurrir por la conexión a Internet. Si esto pasa, OpenAI te proveerá un nuevo comando que podrás ejecutar para reanudar sin problemas.

Supervisión del progreso y costos

Después de unos minutos, podrás ver los resultados del "fine tuning", incluyendo el nombre del modelo y el costo asociado a este proceso. Si te encuentras en la posición número cero de la lista de espera, quiere decir que ha terminado el "fine tuning".

Últimos pasos: Uso y evaluación del modelo personalizado

Finalmente, después de completar el "fine tuning", es momento de utilizar y evaluar el modelo. Cabe destacar, este paso es crucial para entender cómo el modelo se comporta con los datos y tareas específicos para los que ha sido entrenado.

Recordemos que este es un proceso iterativo, y la evaluación nos puede llevar a realizar ajustes adicionales para alcanzar el nivel deseado de personalización. Como un artesano que refina su obra, el "fine tuning" es un arte que requiere precisión y cuidado. Continúa experimentando y aprendiendo, ya que cada ajuste te acercará más a ese modelo de inteligencia artificial a medida que tanto deseas.

Lender Lucas

student•

Sabían que? Ada: Nombrado en honor a Ada Lovelace, una matemática y escritora del siglo XIX, considerada la primera programadora de la historia. El modelo "Ada" destaca por su enfoque en la precisión y la lógica en el procesamiento del lenguaje natural.

Curie: Inspirado en Marie Curie, la famosa física y química del siglo XIX y XX. El modelo "Curie" se destaca por su capacidad para descubrir patrones y generar respuestas creativas y científicamente precisas.

Babbage: Homenaje a Charles Babbage, un matemático e ingeniero del siglo XIX, conocido como el "padre de las computadoras". El modelo "Babbage" se enfoca en el procesamiento eficiente y la capacidad de realizar cálculos complejos.

DaVinci: En honor a Leonardo da Vinci, un genio renacentista con talentos en arte, ciencia y muchas otras disciplinas. El modelo "DaVinci" es una obra maestra en el procesamiento del lenguaje, con habilidades excepcionales en creatividad, resolución de problemas y comprensión contextual.

Juan R. Vergara M.

student•

Excelente amigo 🥇

Diego Jurado

student•

Interesantes datos, gracias Lucas

Nahuel Brandan

student•

Para no asustarse con los precios:

El dataset que utiliza la profe tiene unas 1200 entradas con un costo de fine-tuning utilizando el modelo davinci (el cual es el más caro) de $27 dólares.
El dataset que pasaron en los recursos es más chico, tiene 200 entradas (una sexta parte), por lo que podríamos suponer un costo de $27/6 ~= $4,5 dólares.
Y si además cambiamos el modelo a ada, el cual tiene un precio 75 veces más barato que davinci, por lo tanto podríamos suponer un costo de $4,5 dólares / 75 ~= $0.06 dólares.

Juan R. Vergara M.

student•

Gracias por la información.

Nelson Andrés Loyola Salas

student•

Información muy util, en previas clases había verificado el nùmero de registros en la data que no correspondia y era inferior al utilizado en los videos. No estaba muy cool hacer pruebas para aprendizaje que costaran 27 usd. Por otro lado la documentaciòn ya cambió y no es la misma que utilizan en el video para hacer fine-tunning.

Paolo Joaquin Pinto Perez

student•

++Mejores prácticas generales++ El fine tuning funciona mejor con más ejemplos de alta calidad. Para afinar un modelo que funciona mejor idealmente deben ser examinados por humanos. A partir de ahí, el rendimiento tiende a aumentar linealmente con cada duplicación del número de ejemplos. Aumentar el número de ejemplos suele ser la forma mejor y más fiable de mejorar el performance.

Los clasificadores son los modelos más fáciles para comenzar. Para los problemas de clasificación, se deberia usar ada, que generalmente tiende a funcionar solo un poco peor que los modelos más capaces una vez ajustados, mientras que es significativamente más rápido y más barato.

Si está ajustando un conjunto de datos preexistente en lugar de escribir indicaciones desde cero, asegúrense de revisar manualmente sus datos para datos inexactos. Fuente:https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset

Erika Xenia Angenello

student•

Puede ser que todo esto haya cambiado? ya no veo esos comandos en la documentación y a todo me da error de estoy intentando hacer cosas de versiones anteriores de openai

Miguel Torres

student•

Hola, Erika!

hemos actualizado el curso con nuevas clases con la versión actual de fine-tuning de OpenAI. 🤓

Wilson Barrera

student•

Por si alguien desea entrenar con el modelo gpt-3.5-turbo los comandos de esta clase ya no funcionan, voy a averiguar como hacerlo y actualizo este post

stamatio juliaras viramontes

student•

es correcto ya no funicona, solo he logrado obtener los ids, pero eniar a fine tuning es imposible , ya hhice varios metodos y nada, les dejo el ejemplo mas facil que tengo y no funciona.

import openai

# Inicializa el cliente OpenAI con tu clave APIopenai.api_key = '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' # Subir el archivo de entrenamientotry: with open("/Users/user/Documents/stam/pyton/conectarApiOpenAi/fineTunning/data_train.jsonl", "rb") as f: response_train = openai.File.create( file=f, purpose='fine-tune' ) train_file_id = response_train['id'] print(f"El ID del archivo de entrenamiento es: {train_file_id}")except Exception as e: print(f"Error al subir el archivo de entrenamiento: {e}") # Subir el archivo de validacióntry: with open("/Users/user/Documents/stam/pyton/conectarApiOpenAi/fineTunning/data_train.jsonl", "rb") as f: response_val = openai.File.create( file=f, purpose='fine-tune' ) val_file_id = response_val['id'] print(f"El ID del archivo de validación es: {val_file_id}")except Exception as e: print(f"Error al subir el archivo de validación: {e}") # Crear el trabajo de fine-tuningtry: response_fine_tune = openai.FineTune.create( training_file=train_file_id, validation_file=val_file_id, model="gpt-3.5-turbo-1106" ) print(f"Trabajo de fine-tuning creado: {response_fine_tune['id']}")except Exception as e: print(f"Error al crear el trabajo de fine-tuning: {e}")

Brandom Cárdenas

student•

Hola, me quedé en la parte de:

openai api fine_tunes.create -t data_prepared.jsonl -m ada

Y me arroja como resultado el siguiente error:

openai api: error: argument {chat.completions.create,images.generate,images.edit,images.create_variation,audio.transcriptions.create,audio.translations.create,files.create,files.retrieve,files.delete,files.list,models.list,models.retrieve,models.delete,completions.create}: invalid choice: 'fine_tunes.create' (choose from 'chat.completions.create', 'images.generate', 'images.edit', 'images.create_variation', 'audio.transcriptions.create', 'audio.translations.create', 'files.create', 'files.retrieve', 'files.delete', 'files.list', 'models.list', 'models.retrieve', 'models.delete', 'completions.create')

Ayuda, por favor.

Oscar Rubio

student•

¿Qué pasa con la información con la que se entrena el modelo, pasa a propiedad de OpenAI o sigue siendo privada? ¿Se puede entrenar el modelo de datos sensibles de una empresa?

Ignacio Esteban Aredez Diaz

student•

recibo sin para este error. Ya lo reanude como 30 veces y aun no termina llevo mas de 40 minutos haciendo "fine.tunes follow" Alguien mas tiene este problema?

Miguel Torres

student•

¿Cuál es el error, ignacioaredez? 🤓

Ana Maria Hincapie Correa

student•

Hola, también tengo el mismo problema:

Stream interrupted (client disconnected).
To resume the stream, run:

  openai api fine_tunes.follow -i ft-...

He corrido más de 10 veces el comando y persiste el problema. He esperado algunas horas para volver a intentarlo, pero el resultado sigue siendo el mismo.

Jose Miguel Lopez

student•

esta manera de crear el fine tuned esta deprecada ya no me funciona

Miguel Torres

student•

Hola, Jose!

hemos actualizado el curso con nuevas clases con la versión actual. 🤓

Alexander Armúa Abregu

student•

El comando openai api fine_tunes.create ... se encuentra deprecado.

Link: https://platform.openai.com/docs/guides/legacy-fine-tuning/create-a-fine-tuned-model

Nuevos pasos para fine tunning https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates

Por lo que vi en la guia no usan mas un cliente por consola, sino que su documentacion ahora esta en Python.

Dejo los comandos a continuacion, espero les sirvan :)

pip install openai

# 1. Import openai
from openai import OpenAI

# Lee la key de $OPEN_API_KEY
client = OpenAI()

# 2. Upload a training file
response_upload = client.files.create(
    file=open("data_prepared.jsonl", "rb"),
    purpose="fine-tune"
)

fine_tune_id = response_upload.id

print(response_upload)

# 3. Create a fine-tuned model
response_train = client.fine_tuning.jobs.create(
    training_file=fine_tune_id,
    model="davinci-002" # Cost: $0.0020 / 1K tokens
)

fine_tunning_job_id = response_train.id

print(response_train)

# 4. Esperar, yo me arme el siguiente comando, para ejecutar cada unos minutos y revisar
current_status = client.fine_tuning.jobs.retrieve(fine_tunning_job_id)

print(f" id: {current_status.id} \n status: {current_status.status} \n created_at: {current_status.created_at} \n trained_tokens: {current_status.trained_tokens}")

"""
Si investigan la documentacion que deje mas arriba, openai explica como cancelar o eliminar jobs.

El costo total de entrenar en davinci-002 me salio $0.23 dolares  
"""

Pablo Arango

student•

openai api fine_tunes.get -i [Id_modelo]

Te da una perspectiva mas amplia de lo que esta pasando con tu entrenamiento. Si les pasa como a mi que entrenando con curie, se demora muchísimo. (30 min +)

Jesus Edward Rocca

student•

Adjunto el enlace para realizar el finetuning en OpenAI:

https://platform.openai.com/finetune

Jose Ricardo Pedraza

student•

Si quieres que el modelo.

"Aprenda" un comportamiento, estilo o conocimiento estático🎯 Fine-tuning

"Busque y razone" sobre datos externos o dinámicos📚 Base vectorial (Vector Store + RAG)

juan villamil

student•

Tengo el mismo problema

Stream interrupted (client disconnected). To resume the stream, run:

openai api fine_tunes.follow

Esto no deja avanzar con el curso.

Carli Code

teacher•

¡Hola Juan! se me presentó el problema varias veces y en mi caso parecía ser la conectividad de mi proveedor de internet, en el blog de openai también se replica bastante este error, te recomiendo buscar otra hora para realizar el finetuning como lo dicen aquí

Raul Mercado

student•

Cuando intento usar de fine-tuning me sale el siguiente error:

←[91mError:←[0m Incorrect API key provided: "sk-DZZd*****************************************YYA". You can find your API key at https://platform.openai.com/account/api-keys. (HTTP status code: 401)

He vuelto a crear una nueva API Key y me sale lo mismo.

juan villamil

student•

este error los solucionar con el siguiente comando:

openai -k sk-7**************************s api fine_tunes.create -t data_prepared.jsonl -m davinci

Julio Bastidas

student•

pregunta, el comando para realizar el fine tuning como sabe la api_key de la cuenta donde hara el fine tuning? no veo que se le especifique en dicho comando

Victor Alwin Hércules Carranza

student•

¿Realizar el fine-tuning hace consumo de mis créditos en OpenAI?

walter Jorge

student•

Néstor Miguel González Flores

student•

¿Cómo puedo hacer fine tuning pero cargando archivos o texto de libros creados por mi organización cómo guías? o diciendo integra a tu base de conocimiento lo siguiente: y coloco el contenido de mis guías.

Paul Mauricio Realpe Guerrero

student•

Si olvidaron la configuración del APIKEY, pueden usar en su terminal el siguiente comando:

export OPENAI_API_KEY=<your secret key>

Brandom Cárdenas

student•

No me sirve, puedes dejar una captura, porfa ?

JOSE LUIS ALCOCER CACERES

student•

A alguien más le pasa que con la nueva versión de Platzi no aparecen los recursos?

Fine Tuning de Modelos OpenAI: Proceso y Solución de Errores

Personaliza tu modelo de IA con fine tuning

¿Por qué es importante el fine tuning?

¿Qué modelos de OpenAI se pueden personalizar con fine tuning?

Paso a paso: Realizando el fine tuning

Problemas comunes: Conexión a Internet y desconexiones

Supervisión del progreso y costos

Últimos pasos: Uso y evaluación del modelo personalizado

Personaliza tu modelo de IA con `fine tuning`

¿Por qué es importante el `fine tuning`?

¿Qué modelos de OpenAI se pueden personalizar con `fine tuning`?

Paso a paso: Realizando el `fine tuning`