Contenido del curso
Fine tuning de GPT-4o con datos propios
El fine tuning de GPT-4o con supervised fine tuning te permite adaptar un modelo preentrenado a tu caso de uso sin entrenar desde cero. En esta guía aprenderás a limpiar un dataset médico, formatearlo para la API de OpenAI, lanzar un job de ajuste fino y comparar el modelo resultante contra el modelo base.
Por qué hacer fine tuning a un modelo preentrenado
Un LLM como GPT-4o, ChatGPT o Claude responde según la distribución de los datos con los que fue entrenado. Cuando esa información no cubre tu dominio, el modelo improvisa o falla. Ahí entra el fine tuning: tomas un modelo preentrenado y lo reentrenas con datos específicos tuyos, modificando sus pesos mediante forward y backward pass.
El supervised fine tuning significa que tú le muestras explícitamente al modelo cuál es la pregunta y cuál es la respuesta correcta. Él aprende por imitación supervisada [02:00].
¿Qué es el supervised fine tuning? Es una técnica donde le entregas al modelo pares pregunta-respuesta etiquetados. El modelo ajusta sus pesos para reproducir ese estilo de respuesta en casos nuevos.
Cómo limpiar un dataset antes del fine tuning
El principio rector aquí es garbage in, garbage out. Si entrenas con datos sucios, el modelo solo aprenderá a producir basura. Por eso la fase de limpieza no es opcional [07:30].
En la clase trabajamos con un dataset llamado Bad Medical Medium WikiDoc, tomado de Kaggle, al que se le inyectaron problemas a propósito: duplicados, respuestas truncadas, frases poco útiles como “ve al doctor inmediatamente” y curse words como damn o hell.
Qué revisar en el análisis del dataset
La función analyze_dataset replica los pasos típicos de limpieza en la vida real:
Los resultados sobre el dataset original fueron contundentes: de 11.500 entradas totales, había 1.113 duplicados, 763 respuestas truncadas y 283 con contenido problemático. Tras aplicar correct_dataset, quedaron 9.641 registros limpios [10:30].
En proyectos reales puedes empezar con el 100% de los datos y terminar con un 20% utilizable. Por eso el activo más valioso de las empresas de IA suele ser el dato, no el modelo.
Cómo formatear el dataset para la API de OpenAI
OpenAI exige una estructura específica de mensajes con tres roles por cada ejemplo de entrenamiento:
El archivo final se guarda como train_formatted_dataset.jsonl. El formato .jsonl significa JSON Lines: cada línea del archivo es un registro JSON independiente, que es justo lo que OpenAI espera [13:30].
Para acelerar el ejemplo, se filtran respuestas de menos de 500 palabras y se toman solo los primeros 500 registros con un list comprehension [:500]. Recuerda separar siempre conjunto de entrenamiento y conjunto de test.
¿Qué es un archivo .jsonl? Es un archivo donde cada línea contiene un objeto JSON completo e independiente. OpenAI lo usa porque permite procesar los ejemplos uno por uno sin cargar todo el archivo en memoria.
Cómo lanzar el job de fine tuning en OpenAI
Primero necesitas una API key de OpenAI, que se crea en el panel de API keys y se guarda como secreto en Google Colab bajo el nombre OPENAI_API_KEY. Luego subes los archivos con client.files.create, asignando purpose="fine-tune" para que la API sepa que son para entrenamiento [16:00].
El job se crea con client.fine_tuning.jobs.create, pasando:
training_file: el ID del archivo de entrenamiento.validation_file: el ID del archivo de test.model: en este caso gpt-4o-2024-08-06.method: tipo supervised con sus hiperparámetros.Qué hiperparámetros configurar y por qué
Los hiperparámetros son valores que tú eliges manualmente y ajustas por prueba y error:
Qué esperar mientras corre el entrenamiento
El job entra a una cola compartida con miles de usuarios de OpenAI. En el ejemplo de la clase, la espera fue de casi 19 horas antes de que empezara el entrenamiento, y luego unos 30 minutos de cómputo real [22:00]. A veces tendrás que cancelarlo y volverlo a lanzar.
Durante el proceso se generan checkpoints en distintos steps (por ejemplo step 100 y step 200) que puedes probar individualmente.
Métricas que entrega OpenAI al terminar
Cómo comparar el modelo fine tuneado contra el modelo base
El Playground de OpenAI permite poner lado a lado el modelo base y tu versión ajustada. Con la pregunta “¿qué encuentros de laboratorio están asociados con la hemofilia?”, el modelo base respondió con 289 tokens y el modelo fine tuneado con 181 tokens, mucho más conciso y alineado con la respuesta del dataset [29:00].
Esa diferencia importa por dos razones: respuestas más claras para el usuario y ahorro real en costos de tokens cuando escalas a miles de consultas. La latencia inicial puede ser un poco mayor en el modelo fine tuneado porque debe cargarse en memoria, mientras que GPT-4o base ya está caliente en los datacenters.
El fine tuning es un proceso iterativo: cada comparación te muestra dónde tu modelo flaquea y qué necesitas mejorar en el dataset. ¿Has probado hacer fine tuning con datos propios? Cuéntame en los comentarios qué dataset usarías y qué easter eggs encontraste al limpiar el WikiDoc.
Daniel Gallego
Estudiante
Javier Ramos
Estudiante
Moises Bravo
Estudiante
Brayam Ruiz
Estudiante
Gabriel Obregón
EstudianteMoises Bravo
Estudiante
Jose Daniel Barría Reyes
Estudiante
Tetsu Osnaya
EstudianteTetsu Osnaya
Estudiante
Emilio Sala
EstudianteJavier Ramos
Estudiante
Daniel Hernandez
Estudiante
Kevin Fiorentino
Estudiante
Manuel Alejandro Perdomo
Estudiante
Edgar Haro
Estudiante
Javier Bornia
Estudiante
augusto garzon
Estudiante
Andy Morraz
Estudiante
Juan Diego
Estudiante
Aura Ximena González Cely
Estudiante
Wilmar Carrillo
Estudiante
Edwin yamid Castillo Riapira
Estudiante
MARIA TERESA PANIAGUA RIVERA
Estudiante
Christopher Vilches
EstudianteKevin Fiorentino
EstudianteEncontré el dataset en este link:
Lo pueden descargar y agregar al Colab
Excelente aporte Gracias
Gracias honorable compañera.
todos los google colab piden acceso :/ no he podido probar nada
🧬 Fine-tuning supervisado de GPT-4 con datasets médicos (SCRIPT)
🧪 1. Análisis del dataset
Función: analyze_dataset()
🧼 2. Corrección del dataset
Función: correct_dataset()
🔁 3. Formateo para fine-tuning
🧩 Estructura como conversación tipo ChatGPT: [
{"role": "system", "content": "instrucción"},
{"role": "user", "content": "input"},
{"role": "assistant", "content": "output"}
]
🔑 4. Carga en OpenAI + Entrenamiento
📈 5. Monitoreo del entrenamiento
🔍 Visualiza eventos: client.fine_tuning.jobs.list_events(...)
El dataset no esta en los archivos de la clase.
Se ve que estaba mal el orden de las clases o bien agregaron nuevas clases! Por las dudas revisen su historial!
Si, tampoco me gusto por eso.
La idea de sacar el curso por partes sonaba bien. Sin embargo, no estuvo bien la ejecución. Material desconectado, sin acceso a recursos, sin fechas de liberación de clases.
Si la unica diferencia en la respuesta es que una es más concisa que la otra, esto no se podría mejorar con el system prompt?
en este caso, las respuestas han sido muy similares, por lo que sería más difícil justificar ante la empresa la realización de un fine-tuning.
sin embargo, el fine-tuning tiene un gran potencial, especialmente en escenarios donde el modelo base (como chatgpt) no haya sido entrenado con datos específicos. en este ejemplo, parece que el modelo ya ha sido expuesto a una gran cantidad de información médica pública.
Tienes un buen punto, supongo que es por el ejemplo el dataset contiene información que el LLM muy seguramente ya manejaba de ahí la poca diferencia, pero como bien apuntas las diferencias deben verse con datos que el LLM no halla tenido antes ahí es donde el fine tuning da resultados notables
Este archivo no está en los recursos: "bad_medical_meadow_wikidoc.json"
Que buena clase! es la primera vez que veo cómo hacer Fine Tunning.
Question: ¿OpenAI cobra por los tokens de entranamiento, o también por hostear el modelo entrenado en nuestra cuenta?
Hubiera estado bueno que el profesor hablara de cuánto costó este proceso, tener una idea de los precios.
Porque nose indico previamente que se debia generar una api-key de GPT-4?. Y ademas como lo hacen los que no sabemos, sumado a que no esta el archivo json de la clase solo el Colab.
Muy interesante la practica pero sin esa informacion solo pude llegar hasta cierta seccion. 😒
cuando realizamos un fine-tuning en OpenAI, ¿qué modelo base es el que realmente se entrena o ajusta?
En este caso por lo que muestra en los Checkpoints es en base a GPT-4o
¿Cómo reduce costos hacer un fine tuning?
El fine tuning transforma un modelo generalista y "hablador" en un experto directo y conciso. Los modelos base suelen generar respuestas extensas, llenas de contexto introductorio y explicaciones largas que consumen una gran cantidad de tokens de salida.
Al entrenar el modelo con tus propios ejemplos, le enseñas a ir directo al grano. Por ejemplo, puedes lograr que una respuesta técnica pase de consumir 300 tokens a solo 150 tokens, manteniendo exactamente el mismo valor informativo. Dado que las APIs de inteligencia artificial cobran por cada token generado, esta reducción en la longitud de la respuesta se traduce directamente en un ahorro masivo de dinero a escala. Si tienes miles de usuarios haciendo consultas diarias, optimizar la concisión del modelo mediante fine tuning es una de las estrategias financieras más inteligentes que puedes aplicar.
Es posible remover lenguajes de un dataset para aligerar el espacio en memoria del modelo?, o son los lenguajes adyacentes al dataset?
En esta clase quizas nos confudamos un poco con el objetivo de hacer fine-tuning porque en la clase no se evidencia resultados concisos o diferenciadores.
Sin embargo, el fine-tuning sirve si necesitas que el modelo aprenda un nuevo comportamiento o estilo, pues es ideal para tono, formato o tareas especializadas de dominio. Mientras que si necesitas que el modelo aprenda nuevos conocimientos RAG es superior para datos dinámicos y reducir alucinaciones.
El api_key pide acceso a openai para usar su modelo? o tambien comparte los datos del dataset a openai?
La privacidad es el pilar fundamental cuando manejas datos médicos. Al usar la API para fine-tuning, los datos de tu dataset se envían a los servidores de OpenAI para realizar el entrenamiento; no es solo "acceso al modelo", es una transferencia de información necesaria para que el modelo aprenda de ella.
¿Qué medidas de anonimización estás considerando antes de subir esa información?
Le pregunté a Gemini cual era el valor de usar fine tuning:
🛠️ Fine-Tuning: El Mito de la Base de Datos y el Valor Comercial Real
Wil, aquí hay una confusión técnica fundamental: el Fine-Tuning NO conecta el modelo a una base de datos. Entender la diferencia entre alterar el "cerebro" del modelo (Fine-Tuning) y darle un libro para leer (RAG) es lo que separa a un arquitecto de software de un entusiasta de la IA.
🔍 1. Análisis Crítico: El Error del "Buscador"
Tu premisa inicial asume que el modelo entrenado "buscará en la base de datos que le cargué y dará la misma respuesta". Esto es técnicamente incorrecto.
El modelo no guarda tu archivo de Excel o JSONL como si fuera un disco duro. Durante el Supervised Fine-Tuning (SFT), el modelo lee las preguntas y respuestas miles de veces y ajusta sus pesos neuronales (probabilidades matemáticas). Una vez termina el entrenamiento, el archivo de datos se destruye o descarta; el conocimiento queda "horneado" en el modelo.
Analogía:
Checklist de Arquitectura (SFT vs RAG):
🪞 2. El Efecto Espejo: El Caso de la "Fiebre"
Si en tu dataset de entrenamiento pones: Usuario: "¿Cuál es un síntoma de la gripe?"Asistente: "Fiebre."
¿Qué hará el modelo cuando le preguntes eso en producción? Dará exactamente esa respuesta seca: "Fiebre".
El modelo es un espejo estadístico. Si lo entrenas con respuestas de una sola palabra, aprenderá que el comportamiento deseado es ser extremadamente cortante. No te dará una respuesta "mejor o más explicada" porque le acabas de enseñar, mediante la actualización de sus pesos, que las respuestas largas están mal.
Ejemplo Práctico de Condicionamiento: Si quieres que el modelo sea explicativo, tu dataset debe verse así:
// Lo que el modelo aprenderá: Estructura, empatía y completitud. {"role": "user", "content": "¿Cuál es un síntoma de la gripe?"} {"role": "assistant", "content": "El síntoma más común es la fiebre. Sin embargo, también suele acompañarse de mialgia (dolor muscular) y fatiga severa. ¿Deseas saber cómo tratar estos síntomas?"}
💰 3. La Verdad Realista: ¿Tiene Valor Comercial?
Tu pregunta final es clave: ¿No sería mejor para las personas simplemente ir a ChatGPT? La respuesta realista y sin suavizar es: Sí, para el usuario común (B2C), tu modelo no tiene ningún valor comercial. No puedes competir con los miles de millones de dólares que OpenAI invierte en modelos generalistas.
El valor comercial masivo del Fine-Tuning está en el sector B2B (Empresas) y Automatización, donde ChatGPT generalista falla miserablemente por ser demasiado verboso, caro o inseguro.
Propuesta de ValorChatGPT / Gemini (General)Modelo con Fine-Tuning (Especializado)
Privacidad de Datos
Envías datos médicos confidenciales a servidores externos (Ilegal en muchos países).
Se puede ejecutar en servidores locales del hospital (Cumplimiento HIPAA/Ley de Datos).
Formato Estricto
Te da la respuesta con introducciones molestas ("¡Claro! Aquí tienes...").
Devuelve exclusivamente un JSON perfecto para ser inyectado en una base de datos automáticamente.
Costos a Escala
Usar GPT-4 para clasificar 100,000 historiales médicos te costará miles de dólares.
Un modelo pequeño de 8B (gratis) con SFT hace la misma tarea 100 veces más rápido y casi a costo cero.
🧠 Cerebro de Arquitecto
💡 Tip Pro: El flujo de trabajo moderno en ingeniería de IA (State of the Art) no elige entre uno u otro; los combina. Se hace Fine-Tuning a un modelo pequeño para que aprenda el tono clínico y entienda el formato de un expediente, y simultáneamente se le conecta un sistema RAG para que busque la dosis exacta de un medicamento en la base de datos del hospital en tiempo real.
⚠️ Anti-patrón: Tratar de inyectarle toda la enciclopedia médica de Wikipedia a un modelo mediante Fine-Tuning. Es el error número uno de los juniors. El SFT es pésimo para memorizar datos duros nuevos; es excelente para aprender estilo, formato y lógica de respuesta.
buenas tardes este metodo que usamos para entrenar modelos apartir usando otro modelo paa realizarlo de manera supervisada, tambien podemos hacerlo con gemeni
gracias
El problema de resolver preguntas con las cuales no se han entrenado se puede hacer con RAG. El LLM le dice a la aplicacion que haga una busqueda, y luego el texto resultado se pone en el input del LLM para darle contexto e informacion al LLM. Asi se puede resolver las alucinaciones tambien.
Pienso que es algo dificil comparar las respuestas del modelo base de GPT-4o con el modelo entrenado por que lo más probable es que este modelo ya tenga algo de conocimiento sobre el dataset que el profesor utilizó para entrenarlo. Entonces es complicado darse cuenta si relamente las respuestas mejoran.
Creo que el fine tunning se aprecia más cuando entrenas a un modelo con tu propia regla de negocio interna de la empresa. Con información que GPT realmente no conoce. Ahí es donde puedes analizar más fácil la calidad de las respuestas.