¿Cómo funcionan los LLMs?

Comprender los modelos de lenguaje y el mecanismo de atención es fundamental para trabajar con inteligencia artificial moderna. Aquí aprenderás cómo funcionan estos sistemas, cómo procesan el lenguaje humano y cómo toman decisiones para generar textos coherentes y creativos.

¿Qué es el tokenizado del lenguaje y por qué es crucial en IA?

La tokenización consiste en dividir todo el lenguaje de la cultura humana en fragmentos pequeños llamados tokens. Los tokens pueden ser palabras, sílabas o letras. Aunque parece infinito, el número de combinaciones es manejable: en inglés, típicamente se consideran entre 40,000 y 50,000 tokens. En sistemas más avanzados, como GPT-4, pueden usarse hasta 256,000 tokens para múltiples lenguajes y dominios.

• Cada palabra se descompone en varios tokens.
• Ejemplo: «satisfacción» incluye los tokens «acción», «f», «is», «sat».
• Así se crean vocabularios manejables y se construyen las bases matemáticas para analizar el lenguaje.

¿Cómo se representan matemáticamente las relaciones entre palabras?

La inteligencia artificial ubica cada token en un espacio multidimensional según su cercanía o relación con otros tokens.

• Imagina un plano cartesiano de muchas dimensiones, donde «gato», «perro» y «lobo» están cerca porque son animales.
• Las relaciones de género, tiempo o pertenencia también generan patrones similares: «rey» y «reina» o «caminar» y «caminé».
• Esto le permite a la IA sumar y restar conceptos, como «mamá» menos «género» igual a «pariente», o «regente» más «mujer» igual a «reina».

¿Cuál es el papel de las redes neuronales en el procesamiento del lenguaje?

Una red neuronal procesa estos tokens en diferentes capas:

• Capa de entrada: recibe los tokens del vocabulario aprendido.
• Capas ocultas: detectan patrones complejos entre letras, sílabas y palabras.
• Capa de salida: predice el siguiente token usando conexiones estadísticas, ajustando sus parámetros en el proceso de entrenamiento.

El entrenamiento involucra - Usar el 70% de los datos para entrenar, y el 30% para probar la red. - Ajustar miles de millones de parámetros (pesos estadísticos) que permiten predecir la palabra siguiente.

¿Cómo funciona el modelo de atención en modelos de lenguaje?

El modelo de atención permite seleccionar los elementos más relevantes del texto para predecir la siguiente palabra, similar a como lo hace la mente humana:

• Se identifican tokens importantes llamados query (consulta), key (llave) y value (valor).
• Ejemplo: en «el gato maúlla y el perro», el sistema enfoca su atención en «gato» y «maúlla» cuando considera la palabra «perro».
• Matemáticamente, se usan vectores y funciones de activación para calcular cuál palabra tiene la mayor probabilidad de ser la siguiente.

¿Por qué los modelos de lenguaje no generan siempre el mismo texto?

La temperatura introduce creatividad y variación:

• A veces, para simular creatividad, el modelo elige la segunda o tercera opción más probable, no solo la primera.
• Esto hace que las respuestas sean diversas, no deterministas, pero sí coherentes.

¿Cómo aprenden los modelos a comportarse como chat?

El avance en IA, como RLHF (Reinforcement Learning with Human Feedback), permite que modelos como ChatGPT respondan de manera conversacional:

• Miles de personas interactúan con el modelo, corrigiendo sus respuestas y enseñándole el comportamiento de chat.
• Esto ajusta su personalidad y la estructura de sus respuestas, haciendo posible mantener conversaciones naturales y creativas.

¿Te ha surgido alguna pregunta sobre cómo se relacionan los tokens o sobre la capacidad creativa de estos modelos? Comparte tus ideas y experiencias para seguir aprendiendo y explorando juntos el campo de la inteligencia artificial generativa.