Fundamentos de Inteligencia Artificial: Tokenización y Embeddings

Clase 30 de 44 • Revive nuestros eventos exclusivos

Resumen

La inteligencia artificial (IA) ha revolucionado la manera en que interactuamos con la tecnología, permitiéndonos comunicarnos con máquinas mediante lenguaje natural. Comprender cómo funcionan estos modelos es clave para aprovecharlos en nuestro día a día personal, laboral o empresarial. Aquí repasaremos aspectos fundamentales: qué es la inteligencia artificial, cómo funcionan los modelos de lenguaje (LLM), tokenización, embeddings y el entrenamiento de estos modelos.

¿Qué es la inteligencia artificial y cómo se estructura?

La inteligencia artificial es una ciencia destinada a replicar en máquinas el comportamiento humano como el razonamiento, el procesamiento de información, la resolución de problemas y la toma de decisiones. Dentro de la IA se encuentran:

Machine learning: Analiza grandes volúmenes de datos para identificar patrones.
Deep learning: Utiliza redes neuronales para procesar información compleja como imágenes, videos y audios.
Inteligencia artificial generativa (GNI): Genera información nueva a partir de datos ya disponibles.
Modelos de lenguaje (LLM): Son capaces de entender múltiples idiomas y dialectos, generando textos coherentes y útiles.

¿Cómo los modelos de inteligencia artificial entienden nuestro lenguaje?

Para que las máquinas comprendan nuestro lenguaje se requieren tres procesos clave:

¿Qué es la tokenización?

La tokenización convierte el texto en números, permitiendo que los computadores puedan procesarlos. Toma las palabras y caracteres para asignarles valores numéricos específicos, incluyendo signos de puntuación que indican rasgos del idioma utilizado.

¿Qué son los embeddings en inteligencia artificial?

Los embeddings asignan contextos multidimensionales a las palabras, facilitando la comprensión de relaciones semánticas entre ellas:

Representan palabras en espacios multi-dimensionales.
Identifican significados según el contexto y asociación entre términos.
Modelos avanzados pueden contar con billones de dimensiones para definir palabras con precisión.

¿Cuál es el rol del entrenamiento en los modelos de IA?

El entrenamiento o training posibilita generar texto coherentemente al predecir qué palabra sigue a continuación. Este proceso implica:

Pre-training: El modelo aprende patrones al procesar grandes cantidades de información escrita.
Training avanzado: Refinamiento con aportes humanos o modelos secundarios para aumentar precisión.
Herramientas tecnológicas como GPUs juegan un papel clave en estos entrenamientos.

¿Qué es la atención, query, key y values en la inteligencia artificial?

La atención permite al modelo identificar qué palabras o frases son las más importantes en un texto para generar contenido relevante. Utiliza:

Queries: Preguntas que ayudan a determinar referencias inherentes en el texto.
Keys: Palabras clave identificadas.
Values: Significados semánticos que resultan de la unión de palabras.

Esta estructura permite replicar una comprensión similar a la humana en las máquinas, base para la IA generativa actual.

¿Cómo puedes aprender y aplicar la inteligencia artificial ahora?

Aprovechar esta tecnología implica entender sus bases primero. Puedes iniciar con cursos especializados en ingeniería de software, fundamentos de LLM, Prompt Engineering o manuales prácticos que explican estos procesos claramente.

Además, experimentar directamente con modelos como ChatGPT permite descubrir aplicaciones prácticas según necesidades específicas, solicitudes profesionales o personales.

Ahora que conoces los fundamentos, ¿qué aplicaciones le darías tú personalmente a esta tecnología en tu día a día o en tu trabajo? ¡Compártelo aquí en los comentarios!

Sara María Mejia Sánchez

student•

Aquí está la respuesta respecto a las diferencias entre LLM y un Agente de IA, entregada por Google AI Studio con Gemini 2.5 Pro Preview 03-25:

Un LLM (Modelo Lingüístico Grande) es como un cerebro experto en lenguaje: entiende y genera texto, traduce, resume, responde preguntas basándose en la información que aprendió. Su foco es el lenguaje.
Un Agente de IA es como un trabajador autónomo: usa un LLM (u otras herramientas) para entender, planificar y actuar para lograr un objetivo específico. Puede interactuar con sistemas, tomar decisiones y realizar tareas. Su foco es la acción y el objetivo.

En resumen: El LLM "habla" y "piensa" en texto, el Agente "hace cosas" usando al LLM (y más) para lograr metas.

Aldo Andres Delgado Castillo

student•

Más bien un LLM, es el modelo capaz entender el lenguaje y generar texto. Y un agente sería el encargado de hacer tareas con uso de IA, los agentes pueden estra usando LLMs o no para realizar estas tareas. Yo creo que es más correcto así.

Sara María Mejia Sánchez

student•

El curso de Fundamentos de Ingeniería de Software está increíble. Esperaré ansiosa el curso de Fundamentos de LLM para conocer un poco más los fundamentos de matemáticos detrás de todo esto.

Mateo Montoya Henao

student•

La tokenización y los embeddings son dos conceptos absolutamente fundamentales para entender cómo funciona la Inteligencia Artificial moderna, especialmente en el campo del Procesamiento de Lenguaje Natural (PLN/NLP) y, por extensión, en los Grandes Modelos de Lenguaje (LLMs).Aquí te desgloso los fundamentos de cada uno:

🤖 1. Tokenización (Tokenization)

La tokenización es el primer paso crucial para que una máquina pueda "entender" y procesar texto. Básicamente, consiste en dividir una secuencia de texto más grande (como una frase, un párrafo o un documento completo) en unidades más pequeñas llamadas "tokens".

¿Por qué es necesaria la tokenización?

Las computadoras no entienden palabras o frases como los humanos. Necesitan que el texto se divida en unidades discretas y manejables para poder procesarlas numéricamente.

Tipos de Tokenización:

Tokenización por Palabras (Word Tokenization):
- Concepto: Divide el texto en palabras individuales.
- Ejemplo:
  - Texto: "¡Hola, mundo de la IA!"
  - Tokens: ["¡Hola", ",", "mundo", "de", "la", "IA", "!"]
- Desafíos: Puntuación, contracciones ("don't"), palabras compuestas, idiomas sin espacios (como el chino).
Tokenización por Caracteres (Character Tokenization):
- Concepto: Cada caracter es un token.
- Ejemplo:
  - Texto: "Hola"
  - Tokens: ["H", "o", "l", "a"]
- Ventajas: Maneja bien palabras fuera de vocabulario (OOV - Out Of Vocabulary) y errores tipográficos.
- Desafíos: Genera secuencias muy largas y pierde información semántica a nivel de palabra.
Tokenización por Subpalabras (Subword Tokenization):
- Concepto: El método más común y efectivo en los modelos modernos (como BERT, GPT). Divide las palabras en subunidades más pequeñas (partes de palabras).
- Ventajas:
  - Manejo OOV: Puede tokenizar palabras nunca vistas dividiéndolas en subpalabras conocidas (ej., "des-conocido").
  - Reducción de Vocabulario: El vocabulario de subpalabras es mucho más pequeño que el de palabras completas, pero permite representar infinitas palabras.
  - Flexibilidad: Combina la granularidad de caracteres con la semántica de palabras.
- Algoritmos comunes:
  - Byte Pair Encoding (BPE): Busca los pares de bytes/caracteres más frecuentes y los fusiona recursivamente.
  - WordPiece (usado por BERT): Similar a BPE, pero fusiona basándose en la probabilidad de que una fusión incremente la probabilidad del siguiente token.
  - SentencePiece: Independiente del idioma y maneja textos sin espacios, creando tokens a partir de secuencias de bytes.
- Ejemplo con BPE/WordPiece:
  - Texto: "tokenización"
  - Tokens: ["token", "iza", "ción"] o ["token", "i", "z", "ation"]
  - Texto: "desconocido"
  - Tokens: ["des", "conoc", "ido"]

El Vocabulario y los IDs:

Una vez que tienes los tokens, cada token se mapea a un número entero único (su ID) en un vocabulario predefinido. Es este ID numérico el que se introduce en los modelos de IA.

📊 2. Embeddings (Incrustaciones / Representaciones Vectoriales)

Los embeddings son la forma en que los modelos de IA transforman esos IDs numéricos de los tokens (o palabras, o frases) en vectores de números reales (generalmente con cientos o miles de dimensiones) en un espacio matemático.

¿Por qué son necesarios los Embeddings?

Representación Semántica: Permiten que palabras con significados similares estén "cerca" en este espacio vectorial.
- Ejemplo: El embedding de "rey" estará cerca del embedding de "reina", y la relación "rey - hombre + mujer" será similar a "reina".
Manejo de la Información Contextual: A diferencia de una simple tabla (como el One-Hot Encoding), los embeddings capturan relaciones y matices.
Input para Redes Neuronales: Las redes neuronales trabajan con números continuos (vectores), no con IDs discretos.

Tipos de Embeddings:

Embeddings Estáticos (Word2Vec, GloVe, FastText):
- Concepto: Cada palabra (o token) tiene un único vector de embedding fijo, sin importar el contexto en el que aparezca.
- Word2Vec: Famoso por sus modelos Skip-gram y CBOW. Aprende la relación entre una palabra y su contexto.
- GloVe: Construye embeddings basados en la co-ocurrencia global de palabras en un corpus.
- FastText: Extensión de Word2Vec que considera subpalabras, ayudando con palabras fuera de vocabulario y morfología.
- Limitación: "Bank" como "banco de río" tiene el mismo embedding que "bank" como "banco financiero". Pierde el sentido del contexto.
Embeddings Contextuales (BERT, GPT, ELMo, RoBERTa, etc.):
- Concepto: Son el gran avance de la IA moderna. El embedding de una palabra cambia dinámicamente según el contexto de la frase en la que aparece.
- Cómo funcionan: Utilizan arquitecturas complejas (especialmente la de "Transformers" con mecanismos de atención) para analizar la frase completa y generar un vector de embedding único para cada palabra en esa instancia particular.
- Ejemplo: El embedding de "bank" en "river bank" será diferente al de "bank" en "bank account".
- Impacto: Permiten a los modelos entender matices, ambigüedades, sarcasmo y relaciones complejas entre palabras en una oración, lo que llevó a los impresionantes avances en LLMs.

El Proceso Completo (simplificado):

Texto Crudo ("El gato duerme.")
Tokenización (ej., por subpalabras) -> ["El", "gato", "duer", "me", "."]
Mapeo a IDs (usando el vocabulario) -> [101, 2345, 6789, 123, 102]
Generación de Embeddings (contextuales, si es un LLM) -> Un vector (lista de números) para cada ID, pero este vector se ajusta según las otras palabras en la frase.
- embedding("El" en "El gato duerme.")
- embedding("gato" en "El gato duerme.")
- embedding("duerme" en "El gato duerme.")
Entrada a la Red Neuronal/Modelo de IA -> La red opera con estos vectores numéricos.

✅ Importancia para la IA Moderna:

Tokenización es la "digitalización" del lenguaje humano, el primer paso para hacerlo comprensible para las máquinas.
Embeddings son la "representación" semántica de ese lenguaje digital. Son la clave para que los modelos no solo procesen palabras, sino que "entiendan" su significado y sus relaciones contextuales, permitiendo tareas avanzadas como traducción, generación de texto, análisis de sentimiento, respuestas a preguntas y más.

Estos dos conceptos son el puente entre el lenguaje humano y el mundo matemático que las redes neuronales pueden procesar.