La técnica supervised fine tuning permite ajustar modelos preentrenados como GPT-4 usando conjuntos específicos de datos. Esto es clave cuando modelos generales como ChatGPT carecen de respuestas adecuadas por limitaciones en su entrenamiento inicial.
¿Qué es el fine tuning supervisado en la inteligencia artificial?
El fine tuning supervisado significa entrenar un modelo preexistente suministrando claramente tanto el dato como la respuesta esperada. El modelo ajusta sus pesos mediante procesos llamados forward pass y backward pass, procedimientos explicados previamente y esenciales para adaptar el modelo al nuevo contexto.
¿Para qué sirve aplicar fine tuning con GPT-4 en OpenAI?
Esta técnica permite darle al modelo la habilidad de responder preguntas específicas que inicialmente no podría contestar bien debido a la limitación de su entrenamiento original:
Adaptar respuestas a contextos especializados como medicina.
Incrementar la precisión y calidad de respuestas.
Controlar extensiones de textos generados para eficiencias mayores y costos operacionales menores.
¿Cómo preparar un dataset para fine tuning de GPT-4?
El proceso anterior a la ejecución del fine tuning implica una serie de etapas esenciales para asegurar la calidad del modelo entrenado:
Análisis inicial del conjunto de datos identificando duplicados, respuestas truncadas, o contenido inapropiado.
Eliminación de registros no óptimos como entradas duplicadas, información incompleta o expresiones problemáticas mediante herramientas como expresiones regulares con Pandas.
Transformación y formateo del dataset según la estructura admitida por OpenAI, con campos claramente definidos para roles de asistencia, usuario y sistema.
¿Qué tipo de ajustes se requieren para un entrenamiento exitoso?
Algunos aspectos críticos durante la limpieza y filtrado del dataset pueden incluir:
Comprobación exhaustiva del contenido duplicado o incorrecto.
Asegurar respuestas completas y evitar desviaciones o datos irrelevantes.
Mantener un estándar mínimo definido (p.e., respuestas mayores a cincuenta caracteres).
Usar librerías Python como Pandas facilita enormemente estos procesos.
¿Qué parámetros configurar durante el fine tuning en OpenAI?
El usuario debe establecer hiperparámetros vitales que optimizan cómo el modelo aprende del nuevo dataset:
Batch size: define el número de iteraciones antes de actualizar los pesos (menor número implica procesos más lentos).
Learning rate multiplier: ajusta el nivel del aprendizaje para evitar mínimos locales.
Número de épocas: automatizable por OpenAI o manualmente controlable para diferentes niveles de detalle en el entrenamiento.
¿Qué resultados esperar tras el proceso de fine tuning?
La plataforma OpenAI proporciona múltiples métricas relevantes:
Cantidad de tokens utilizados, directamente vinculados al costo económico.
Gráficas detalladas mostrando comportamento de métricas como pérdida (loss) en entrenamiento y validación.
Precisión (accuracy) del modelo con el conjunto de pruebas (test dataset).
Además, OpenAI ofrece distintas etapas del modelo que permiten comparar rendimiento versus el modelo original mediante la interfaz del Playground, facilitando actualizaciones incrementales para optimizar resultados con iteraciones adicionales sobre el dataset original.
Se anima a quienes estén realizando este procedimiento a compartir sus experiencias analizando dataset, considerando técnicas estadísticas simples para descubrir información adicional o mejoras posibles en los datos utilizados.
Se ve que estaba mal el orden de las clases o bien agregaron nuevas clases! Por las dudas revisen su historial!
Si, tampoco me gusto por eso.
La idea de sacar el curso por partes sonaba bien. Sin embargo, no estuvo bien la ejecución. Material desconectado, sin acceso a recursos, sin fechas de liberación de clases.
Este archivo no está en los recursos: "bad_medical_meadow_wikidoc.json"
Si la unica diferencia en la respuesta es que una es más concisa que la otra, esto no se podría mejorar con el system prompt?
en este caso, las respuestas han sido muy similares, por lo que sería más difícil justificar ante la empresa la realización de un fine-tuning.
sin embargo, el fine-tuning tiene un gran potencial, especialmente en escenarios donde el modelo base (como chatgpt) no haya sido entrenado con datos específicos. en este ejemplo, parece que el modelo ya ha sido expuesto a una gran cantidad de información médica pública.
Tienes un buen punto, supongo que es por el ejemplo el dataset contiene información que el LLM muy seguramente ya manejaba de ahí la poca diferencia, pero como bien apuntas las diferencias deben verse con datos que el LLM no halla tenido antes ahí es donde el fine tuning da resultados notables
Porque nose indico previamente que se debia generar una api-key de GPT-4?. Y ademas como lo hacen los que no sabemos, sumado a que no esta el archivo json de la clase solo el Colab.
Muy interesante la practica pero sin esa informacion solo pude llegar hasta cierta seccion. 😒
Que buena clase! es la primera vez que veo cómo hacer Fine Tunning.
Question: ¿OpenAI cobra por los tokens de entranamiento, o también por hostear el modelo entrenado en nuestra cuenta?
Hubiera estado bueno que el profesor hablara de cuánto costó este proceso, tener una idea de los precios.
cuando realizamos un fine-tuning en OpenAI, ¿qué modelo base es el que realmente se entrena o ajusta?
En este caso por lo que muestra en los Checkpoints es en base a GPT-4o
El api_key pide acceso a openai para usar su modelo? o tambien comparte los datos del dataset a openai?
La privacidad es el pilar fundamental cuando manejas datos médicos. Al usar la API para fine-tuning, los datos de tu dataset se envían a los servidores de OpenAI para realizar el entrenamiento; no es solo "acceso al modelo", es una transferencia de información necesaria para que el modelo aprenda de ella.
¿Qué medidas de anonimización estás considerando antes de subir esa información?
Le pregunté a Gemini cual era el valor de usar fine tuning:
🛠️ Fine-Tuning: El Mito de la Base de Datos y el Valor Comercial Real
Wil, aquí hay una confusión técnica fundamental: el Fine-Tuning NO conecta el modelo a una base de datos. Entender la diferencia entre alterar el "cerebro" del modelo (Fine-Tuning) y darle un libro para leer (RAG) es lo que separa a un arquitecto de software de un entusiasta de la IA.
🔍 1. Análisis Crítico: El Error del "Buscador"
Tu premisa inicial asume que el modelo entrenado "buscará en la base de datos que le cargué y dará la misma respuesta". Esto es técnicamente incorrecto.
El modelo no guarda tu archivo de Excel o JSONL como si fuera un disco duro. Durante el Supervised Fine-Tuning (SFT), el modelo lee las preguntas y respuestas miles de veces y ajusta sus pesos neuronales (probabilidades matemáticas). Una vez termina el entrenamiento, el archivo de datos se destruye o descarta; el conocimiento queda "horneado" en el modelo.
Analogía:
RAG (Retrieval-Augmented Generation): Es darle a un estudiante generalista un manual médico abierto durante el examen para que busque la respuesta y te la lea.
Fine-Tuning (SFT): Es enviar al estudiante a la facultad de medicina por 5 años. En el examen no tiene libros; responde de memoria basándose en cómo fue entrenado.
Checklist de Arquitectura (SFT vs RAG):
[ ] Si necesitas que el modelo cite fuentes o busque datos exactos de ayer ➡️ Usa RAG.
[ ] Si necesitas que el modelo cambie su forma de hablar, formato o razonamiento ➡️ Usa Fine-Tuning.
🪞 2. El Efecto Espejo: El Caso de la "Fiebre"
Si en tu dataset de entrenamiento pones: Usuario: "¿Cuál es un síntoma de la gripe?"Asistente: "Fiebre."
¿Qué hará el modelo cuando le preguntes eso en producción? Dará exactamente esa respuesta seca: "Fiebre".
El modelo es un espejo estadístico. Si lo entrenas con respuestas de una sola palabra, aprenderá que el comportamiento deseado es ser extremadamente cortante. No te dará una respuesta "mejor o más explicada" porque le acabas de enseñar, mediante la actualización de sus pesos, que las respuestas largas están mal.
Ejemplo Práctico de Condicionamiento: Si quieres que el modelo sea explicativo, tu dataset debe verse así:
// Lo que el modelo aprenderá: Estructura, empatía y completitud.{"role":"user","content":"¿Cuál es un síntoma de la gripe?"}{"role":"assistant","content":"El síntoma más común es la fiebre. Sin embargo, también suele acompañarse de mialgia (dolor muscular) y fatiga severa. ¿Deseas saber cómo tratar estos síntomas?"}
💰 3. La Verdad Realista: ¿Tiene Valor Comercial?
Tu pregunta final es clave: ¿No sería mejor para las personas simplemente ir a ChatGPT? La respuesta realista y sin suavizar es: Sí, para el usuario común (B2C), tu modelo no tiene ningún valor comercial. No puedes competir con los miles de millones de dólares que OpenAI invierte en modelos generalistas.
El valor comercial masivo del Fine-Tuning está en el sector B2B (Empresas) y Automatización, donde ChatGPT generalista falla miserablemente por ser demasiado verboso, caro o inseguro.
Propuesta de ValorChatGPT / Gemini (General)Modelo con Fine-Tuning (Especializado)
Privacidad de Datos
Envías datos médicos confidenciales a servidores externos (Ilegal en muchos países).
Se puede ejecutar en servidores locales del hospital (Cumplimiento HIPAA/Ley de Datos).
Formato Estricto
Te da la respuesta con introducciones molestas ("¡Claro! Aquí tienes...").
Devuelve exclusivamente un JSON perfecto para ser inyectado en una base de datos automáticamente.
Costos a Escala
Usar GPT-4 para clasificar 100,000 historiales médicos te costará miles de dólares.
Un modelo pequeño de 8B (gratis) con SFT hace la misma tarea 100 veces más rápido y casi a costo cero.
🧠 Cerebro de Arquitecto
💡 Tip Pro: El flujo de trabajo moderno en ingeniería de IA (State of the Art) no elige entre uno u otro; los combina. Se hace Fine-Tuning a un modelo pequeño para que aprenda el tono clínico y entienda el formato de un expediente, y simultáneamente se le conecta un sistema RAG para que busque la dosis exacta de un medicamento en la base de datos del hospital en tiempo real.
⚠️ Anti-patrón: Tratar de inyectarle toda la enciclopedia médica de Wikipedia a un modelo mediante Fine-Tuning. Es el error número uno de los juniors. El SFT es pésimo para memorizar datos duros nuevos; es excelente para aprender estilo, formato y lógica de respuesta.
buenas tardes este metodo que usamos para entrenar modelos apartir usando otro modelo paa realizarlo de manera supervisada, tambien podemos hacerlo con gemeni
gracias
El problema de resolver preguntas con las cuales no se han entrenado se puede hacer con RAG. El LLM le dice a la aplicacion que haga una busqueda, y luego el texto resultado se pone en el input del LLM para darle contexto e informacion al LLM. Asi se puede resolver las alucinaciones tambien.
Pienso que es algo dificil comparar las respuestas del modelo base de GPT-4o con el modelo entrenado por que lo más probable es que este modelo ya tenga algo de conocimiento sobre el dataset que el profesor utilizó para entrenarlo. Entonces es complicado darse cuenta si relamente las respuestas mejoran.
Creo que el fine tunning se aprecia más cuando entrenas a un modelo con tu propia regla de negocio interna de la empresa. Con información que GPT realmente no conoce. Ahí es donde puedes analizar más fácil la calidad de las respuestas.
Parece que las clases se cargaron al revez, en la anterior hacen referencia a esta 😅
Tengo una pregunta, osea que para usar OpenAI toca pagar?
