Contenido del curso
Temperatura y top P en la API de OpenAI
Ajustar los parámetros de un modelo de OpenAI cambia por completo la calidad de la respuesta que obtienes. Si ya sabes cargar el modelo y enviar un prompt, el siguiente paso es dominar temperatura, top P, max tokens y N para controlar longitud, libertad creativa y número de resultados.
¿Qué hace el parámetro max tokens en OpenAI?
El parámetro max tokens define la longitud máxima de la respuesta. Si lo configuras en 100, obtendrás una respuesta más amplia que con 50, porque le estás dando al modelo el doble de espacio para desarrollar la idea.
En el ejemplo del prompt "¿qué es IA?", al duplicar el número de tokens, la respuesta pasa de un texto corto a una explicación más detallada que arranca con: "La inteligencia artificial, IA, es un campo de la informática que se centra…".
¿Qué es un token en OpenAI? Es la unidad mínima en la que el modelo divide el texto. Más tokens permitidos significa respuestas más largas, pero también mayor costo de uso.
¿Cómo afecta la temperatura a las respuestas del modelo?
La temperatura controla cuánta libertad tiene el modelo para elegir entre sus posibles respuestas. Acepta valores entre 0 y 2, aunque el rango más usado va de 0 a 1.
Con valores cercanos a cero, el modelo se vuelve restrictivo y elige siempre la opción con mayor probabilidad. Con valores cercanos a uno, le das libertad para diversificar y devolver respuestas más creativas.
Ejemplo práctico de temperatura con un prompt real
Imagina el prompt: "mi curso favorito de Platzi es". El modelo evalúa tres continuaciones posibles con estas probabilidades:
Si configuras la temperatura en 0, el modelo casi siempre escoge la opción del 60%. Si la subes a 0.3, sigue eligiendo la más probable la mayoría de las veces, pero ya puede saltar a la del 30%. Con 0.8, las respuestas se diversifican y empiezan a aparecer variaciones reales.
En el ejercicio con "¿qué es IA?", al cambiar la temperatura de 0.3 a 0.8, el inicio se mantiene parecido, pero hacia el final la respuesta varía: en una versión dice "se centra" y en otra dice "abarca". Esa es la huella de la temperatura.
¿Para qué sirven top P y N en la API de OpenAI?
El parámetro top P funciona como un filtro previo. Si lo pones en 0.1, le estás diciendo al modelo que solo considere el 10% de las respuestas más probables. Con top P igual a 1, abres el universo completo de opciones, y dentro de ese universo, la temperatura decide qué tan restrictivo o libre es.
El parámetro N define cuántas respuestas quieres recibir por cada prompt. Si N es igual a 2, el modelo te devolverá dos resultados distintos para la misma pregunta.
En el ejemplo de "quién descubrió América" con N igual a 2, el modelo devuelve dos respuestas diferentes: una empieza con "Cristóbal Colón descubrió América en 1492" y la otra con "El descubrimiento de América fue realizado por el navegador italiano…". Misma pregunta, dos formulaciones distintas.
¿Cuál es la diferencia entre temperatura y top P? Top P filtra cuántas opciones entran al juego según probabilidad acumulada. La temperatura decide qué tan aleatoria es la elección dentro de ese conjunto. Se complementan.
Cómo combinar los parámetros para obtener mejores resultados
La receta no es única, depende de lo que necesites. Si buscas respuestas precisas y consistentes, baja la temperatura. Si buscas creatividad o variedad, súbela.
Una guía rápida para empezar:
Los caracteres extraños que a veces aparecen en las respuestas, como en palabras con acentos, son un detalle de codificación que verás cuando trabajes con texto en español. No afectan los parámetros, pero conviene tenerlo presente al imprimir resultados.
Toda esta información, junto con parámetros adicionales que puedes explorar, está documentada en la sección de API reference de OpenAI, específicamente en completions. Ahí encuentras el detalle técnico de cada parámetro y otros menos comunes con los que puedes experimentar.
El reto ahora es tuyo: modifica los parámetros, prueba combinaciones distintas y observa cuál se adecua mejor a tu caso. ¿Qué configuración te dio el resultado más útil? Compártelo en los comentarios.
