Contenido del curso
Temperatura y alucinaciones en fine tuning
Ajustar los parámetros de un modelo con fine tuning en OpenAI marca la diferencia entre respuestas alucinadas y respuestas precisas. Aquí verás cómo modificar la temperatura y el maximum length en el Playground, y cómo llevar ese mismo experimento a Python para validar la calidad del modelo.
¿Por qué un modelo con fine tuning sigue alucinando?
Aunque ya entrenaste tu modelo con un dataset propio, las primeras respuestas pueden inventar cursos, enlaces o datos que nunca estuvieron en los datos de entrenamiento. Esto se llama alucinación y suele aparecer cuando la temperatura está demasiado alta y el modelo prioriza creatividad sobre exactitud.
En la prueba inicial, al preguntar cómo mejorar habilidades de creación de contenido con inteligencia artificial, el modelo respondió con un curso inexistente de creación de contenido 2D y 3D en Platzi. La respuesta sonaba bien, pero no estaba en el dataset.
¿Qué es una alucinación en modelos de lenguaje? Es una respuesta que el modelo genera con apariencia de verdad, pero que no está respaldada por sus datos de entrenamiento. Suele ocurrir con temperaturas altas o prompts ambiguos.
¿Cómo afecta la temperatura a las respuestas del modelo?
La temperatura controla qué tan determinista o creativo es el modelo. Cuanto más baja, más predecible; cuanto más alta, más libertad creativa y más riesgo de inventar.
En el Playground, al bajar la temperatura a 0 [01:08], el modelo respondió con el curso real de creación de contenido con IA disponible en platzi.com/cursos/contenido-ia. La diferencia fue inmediata: pasó de inventar a citar un recurso verificable del dataset.
Después vino el ajuste fino para no quedarse en un modo demasiado rígido:
Ese pequeño aumento le da al modelo margen para expresarse sin perder la fidelidad al dataset.
¿Para qué sirve el parámetro maximum length?
El maximum length define cuántos tokens puede generar el modelo en su respuesta. Si quieres respuestas más concisas, lo reduces; si necesitas explicaciones extensas, lo amplías.
En la prueba se redujo a 149 [01:38] para forzar respuestas más cortas. El modelo siguió recomendando el curso correcto con su URL, pero sin extenderse de más. Es una palanca útil cuando construyes un chatbot y necesitas controlar costos o tiempos de respuesta.
¿Cuándo conviene bajar el maximum length? Cuando integras el modelo en interfaces de chat donde el usuario espera respuestas rápidas, o cuando quieres optimizar el consumo de tokens por llamada.
¿Cómo llevar el experimento del Playground a Python?
Una vez que encuentras la combinación de parámetros que funciona, el Playground te permite exportar el código directamente. Desde la opción view code [02:35], copias el snippet en Python con la misma configuración: modelo con fine tuning, system message, temperatura y maximum length.
El flujo para reproducirlo en una notebook de análisis es directo:
print(response[0].message.content) para ver la salida.Al ejecutarlo, el modelo devolvió la misma recomendación del curso de creación de contenido con IA, e incluso sugirió contenidos adicionales que enriquecen la experiencia del estudiante de Platzi.
¿Qué debes recordar al usar tu modelo desde Python?
La lógica es la misma que cuando usas modelos de chat estándar, con dos diferencias clave:
Eso garantiza que el comportamiento del asistente se mantenga alineado con los ejemplos que usaste durante el entrenamiento.
¿Qué puedes construir con un modelo afinado?
Con el ciclo completo ya recorrido (preparar el dataset, validar su estructura, ejecutar el fine tuning en la plataforma de OpenAI, evaluar resultados y ajustar parámetros), tienes la base para crear productos reales.
Un chatbot educativo es la idea más obvia, pero hay más caminos: asistentes de soporte, generadores de recomendaciones personalizadas, sistemas de respuesta para documentación interna o agentes que respondan dudas frecuentes con el tono de tu marca.
¿Qué se te ocurre construir con un modelo afinado a tu propio dataset? Cuéntanos en los comentarios qué proyecto tienes en mente.
Paolo Joaquin Pinto Perez
Estudiante
Juan R. Vergara M.
Estudiante
Patricio Sánchez Fernández
Estudiante
Manuel Oviedo
Estudiante
Platzi
Estudiante
Adrián Soto Girón
Estudiante
Wilson Barrera
Estudiante
Miguel Torres
EstudianteCastillo Alexis Antonio
Estudiante
Arístides Pérez Hernández
EstudianteArístides Pérez Hernández
EstudianteArístides Pérez Hernández
Estudiante++Chatbot de atención al cliente: caso de estudio++
Un chatbot normalmente contendrá contexto relevante sobre la conversación (detalles del pedido), un resumen de la conversación hasta el momento y los mensajes más recientes. Para este caso de uso, la misma conversación anterior puede generar múltiples filas en el conjunto de datos, cada vez con un contexto ligeramente diferente, para cada generación de agentes como finalización. Este requerirá algunos miles de ejemplos, ya que probablemente tratará con diferentes tipos de solicitudes y problemas de los clientes. El resumen se puede generar con un modelo ajustado de transformación de texto independiente. El conjunto de datos podría tener el siguiente aspecto:
{"prompt":"resumen: <resumen de la interaccion hasta ahora>\n\nInformation Especifica:<por ejemplo orden de detalles en lenguaje natural>\n\n###\n\nCliente: <message1>\nSoporte: <response1>\nCliente: <message2>\nSoporte:", "completion":" <response2>\n"} {"prompt":"resumen: <resumen de la interaccion hasta ahora>\n\nInformation Especifica:<por ejemplo orden de detalles en lenguaje natural>\n\n###\n\nCliente: <message1>\nSporte: <response1>\nCliente: <message2>\nSoporte: <response2>\nCliente: <message3>\nSoporte:", "completion":" <response3>\n"}
Aquí separamos a propósito los diferentes tipos de información de entrada, pero mantuvimos el diálogo Agente del cliente en el mismo formato entre un aviso y una finalización. Todas las finalizaciones solo deben ser realizadas por el agente, y podemos usar \n como una secuencia de parada al hacer inferencias. Más casos de estudio:
👍📝✔💡
Paolo, muchas gracias por todos los aportes que has hecho a lo largo del curso, han sido de mucha ayuda.
No me queda tan claro sobre los datos que tengo proporcionarle al modelo. Es decir, que yo debo darle las respuestas esperadas?
Para realizar fine tuning a un modelo de OpenAI, debes proporcionarle ejemplos de datos con las respuestas esperadas para que pueda aprender de ellos.
Para obtener solo el texto de la respuesta del modelo, accede así al contenido del objeto response:
print(response.output[0].content[0].text)
Tengo una inquietud, dicen que mientras mas datos tenga mi archivo con el que voy a entrenar el modelo es mucho mejor. Eso quiere decir que para una misma pregunta necesito darle algunas respuestas variadas para asi generar mas opciones?
Hola, Wilson!
sí, dar respuestas variadas puede ser útil para que el modelo responda con mayor diversidad.
Me queda la duda, que pasa si la temperatura la tengo en 0 y en el modelo entrenado no tiene la posible pregunta definida, que me respondería el modelo?
¿Cómo evito que el asistente invente respuestas?
La clave para evitar las alucinaciones radica en una combinación de control de hiperparámetros y volumen de datos. Primero, debes ajustar la temperatura hacia valores más bajos (cercanos a 0.2 o 0.5) para que las respuestas sean más deterministas y menos creativas. Sin embargo, si necesitas que el asistente sea amigable y conversacional (lo que requiere una temperatura ligeramente mayor), la única forma de evitar que invente cosas es inyectando más ejemplos de alta calidad en su entrenamiento. Piensa en esto como estudiar para un examen: si solo lees un resumen y te hacen una pregunta compleja, intentarás adivinar la respuesta. Si estudiaste el libro completo, responderás con seguridad y precisión, incluso si te piden que expliques el concepto con tus propias palabras.
¿Qué pasa si aumento mucho la temperatura?
Si elevas demasiado este valor (por ejemplo, acercándolo a 1.5 o 2), le estás dando al modelo una libertad creativa extrema. Imagina que le pides a un chef que prepare una receta clásica pero le dices que improvise con cualquier ingrediente que encuentre; el resultado puede ser un plato irreconocible. En el caso de la inteligencia artificial, esta improvisación se traduce en alucinaciones. El modelo empezará a generar información incoherente, inventar datos que no existen en su conocimiento base o desviarse completamente del tema principal. Para un asistente virtual empresarial, esto es peligroso porque pierdes confiabilidad. Lo ideal es encontrar un punto de equilibrio, como un 0.5 o 0.7, donde el modelo suena natural y conversacional, pero se mantiene estrictamente apegado a los hechos y al tono que le enseñaste durante su entrenamiento.
¿Cuándo debería limitar el máximo de tokens?
Debes establecer un límite estricto de tokens (max_tokens) desde el primer momento en que diseñas tu solución, principalmente por dos razones: control de costos y experiencia de usuario. Cada token generado cuesta dinero. Si dejas este valor abierto o muy alto, un usuario podría hacer una pregunta abierta que provoque una respuesta larguísima, consumiendo tu presupuesto rápidamente. Es como dejar la llave del agua abierta. Además, en el contexto de un chat o un asistente virtual, los usuarios buscan respuestas rápidas y concisas, no ensayos de tres páginas. Configurar un límite razonable, como 200 o 300 tokens, obliga al modelo a sintetizar la información y entregar el valor de forma directa. Si notas que las respuestas se cortan a la mitad, es señal de que debes subir ligeramente este límite.