Configuración de temperatura, Top P y Top K en modelos de lenguaje

Cuando trabajamos con modelos de lenguaje grande (LLM), generalmente ajustamos dos aspectos cruciales para mejorar nuestras respuestas: el prompt y la temperatura. Sin embargo, existen más hiperparámetros que podemos cambiar, ofreciéndonos flexibilidad para obtener resultados diversos, creativos o precisos según sea nuestro objetivo.

¿Qué es la temperatura en los modelos de lenguaje grande?

La temperatura determina el grado de creatividad o aleatoriedad en las respuestas del modelo. Normalmente, varía entre 0 (muy estable y predecible) y 2 (extremadamente creativo).

Cuando se mantiene en el valor estándar, que es alrededor de 1, obtenemos respuestas promedio del conjunto de entrenamiento del LLM. Si aumentamos la temperatura:

• El modelo selecciona tokens menos probables.
• Las respuestas serán más variadas, con textos y comentarios más detallados y creativos, tal como se observa en ejemplos de código en Python.

¿Qué es y cómo ajustar Top P y Top K?

Además de la temperatura, podemos controlar la respuesta usando otros parámetros como Top P y Top K.

¿Qué es Top P (Nucleus Sampling)?

Top P dirige al modelo a usar solo los tokens cuya probabilidad acumulativa cumpla un umbral determinado. Si ajustamos este valor:

• Un Top P bajo (0.5) limita al modelo a elegir entre pocos tokens altamente probables.
• Un Top P alto (0.95 o más) permite elegir entre una variedad más amplia de opciones, aumentando diversidad.

La configuración recomendada para generar código podría ser Top P de 0.80 junto con una temperatura moderada (0.92).

¿Qué significa Top K?

Disponible en algunos modelos como los creados por Anthropic y en plataformas como Vertex AI, el Top K especifica el número exacto de tokens candidatos que el modelo considera al generar respuestas. Ajustando este valor:

• Un Top K pequeño promueve respuestas más deterministas.
• Un Top K grande genera respuestas más variadas.

¿Cómo combinar temperatura, Top P y Top K según el objetivo?

La combinación ideal de estos parámetros depende de la tarea que estés realizando:

• Para textos creativos como historias de ciencia ficción, considera:

• Temperatura alta.

• Top K elevado.

• Top P cercano al máximo.

• Para tareas técnicas precisas como código o cálculos matemáticos:

• Reduce significativamente la temperatura.

• Utiliza un valor relativamente bajo de Top P.

La experimentación continua es esencial para adaptarse a las fortalezas particulares de cada modelo y tarea específica. Por ejemplo, otros modelos incluyen hiperparámetros adicionales como present penalty o repeat penalty, penalizando repeticiones de palabras o frases para optimizar resultados.

Recuerda la importancia de practicar y experimentar periódicamente con estos ajustes para mejorar significativamente tus resultados con modelos de inteligencia artificial.