Cómo se entrena un LLM paso a paso
Contenido del curso
Harold Celis
Edgar A. Gonzalez Ambriz
Edgar Villatoro Pérez
Tadeo Juarez
Hugo Quinteros
Gabriel Obregón
Santiago Pineda Botero
Jorge Andres Castro Pachon
Cesar Segura
Jorge Francisco Vuelvas Lomeli
Roberto Carlos Jacobo Fuentes
Regina Flores
Andres David Martinez Torres
MARIA TERESA PANIAGUA RIVERA
Marcelo Bengolea
Daniel Alberto Vega Bejarano
Arno Sonck
German Augusto Lopera Marquez
Gracias por compartir
Ayuda Visual by GPT 5.2
Dejo mis apuntes! Lo trate de hacer lo mas fácil y entendible posible.
Pasos de un Modelo de Lenguaje Grande (Large Lenguage Modal):
1. Crear el corpus.
El corpus es toda la información con el que el modelo va a ser entrenado. Para tener esta información se necesitan varios procesos para tener datos de entrenamiento de calidad.
En Gemini por ejemplo se hizo web scraping para obtener información de internet.
Para que sea de calidad por ejemplo se limpia la información potencialmente peligrosa, se eliminan duplicados e información que no tenga que ver con el propósito del LLM, filtrados de sesgos, eliminación de información personal o formateo de datos.
2. Tokenizar todo el Corpus.
Convertir en tokens todas las palabras del Corpus para convertirla a vectores (números) que el modelo pueda entender y procesar.
3. Armar la arquitectura del LLM.
Aquí podemos usar diferentes tipos de arquitecturas acorde a el objetivo del LLM.
Como la de Codificador-Decodificador usado para transformar texto, Codificador para solo analizar y comprender el texto y la de Decodificador usada para producir texto prediciendo la palabra siguiente.
4. Entrenar el modelo.
Ahora con nuestra arquitectura de LLM entrenamos el modelo con todos los tokens del corpus. Esto se hace en datacenters en varias partes del mundo con el poder de computo necesario.
Se usan técnicas como el Reinforcement Learning from Human Feedback o Group Relative Policy Optimization para entrenar al modelo a dar respuestas correctas.
Con RLHF se usan humanos para decirle al modelo que respuestas están correctas y cuales no y un modelo de recompensa usa esta información para calificar al modelo.
Con GRPO, el modelo se entrena al comparar su desempeño (calificado con criterios como la precisión o la relevancia) con el desempeño promedio de todo un grupo de modelos. Si es mejor que el promedio, recibe un incentivo para seguir mejorando.
5. Fine-Tuning.
El resultado hasta aquí es un modelo ya entrenado con mucha información pero de forma general. Si se requiere especializar el modelo se entrena de nuevo el modelo con una base de datos enfocada en ese tema. Así logramos que el LLM tenga alguna especialización.
Luego de las clases más técnicas, tenemos esta clase: La mas entendible y que le da sentido a las anteriores 💪🏼
🧠 ENTRENAMIENTO DE UN MODELO DE LENGUAJE GRANDE (LLM)
📚 1. ¿Qué es un LLM?
Un modelo que aprende a comprender y generar lenguaje natural usando enormes volúmenes de texto y potentes recursos tecnológicos.
🧾 2. CORPUS DE ENTRENAMIENTO
¿Qué es? Es el conjunto de textos que alimenta y entrena al modelo.
Características:
Ejemplo real: LLaMA 4 (Meta) usa 30 billones de tokens = 109 terabytes de texto.
📏 3. TAMAÑO DEL CORPUS
Cómo se mide:
Objetivo: Eliminar contenido duplicado o dañino para mejorar calidad.
🧩 4. TOKENIZACIÓN
¿Qué es? Proceso de dividir el texto en unidades mínimas (tokens) para que el modelo pueda interpretarlo.
Tipos de tokens:
Herramientas comunes: TikToken (Hugging Face)
🧱 5. ARQUITECTURA DEL MODELO
¿Qué implica? Diseñar la estructura del modelo según su uso.
Ejemplo: GPT-2 usa:
Dato útil: Algunas arquitecturas son open source (como las de Meta).
🖥️ 6. ENTRENAMIENTO INTENSIVO
Fase más costosa y prolongada.
Requiere:
Proceso:
🔧 7. FINE TUNING
¿Qué es? Ajuste del modelo para tareas específicas.
Ejemplos de aplicación:
Ventaja: Más rápido que el entrenamiento inicial.
👨🏫 8. RLHF (Reinforcement Learning with Human Feedback)
¿Qué hace? Humanos corrigen respuestas del modelo y dan retroalimentación.
Beneficio: Mejora la calidad del modelo.
Ejemplo notable: Transición de GPT-3 a GPT-4.
🤖 9. APRENDIZAJE POR REFUERZO NO SUPERVISADO
¿Cómo funciona? El modelo aprende solo, sin intervención humana directa.
Técnicas:
**Ejemplo destacado:**DeepSeek R1 usando técnicas como GRP0.
Para crear un mini LLM personalizado, primero necesitas un corpus de datos específico que se ajuste a la tarea que deseas abordar. Luego, sigue estos pasos:
Estos pasos te ayudarán a desarrollar un mini LLM adaptado a tus necesidades.
Para aplicar RLHF en un modelo como YOLO que es para deteccion de objetos en imagenes, humanos calificarían las detecciones (ej. precisión de cajas o etiquetas). Ese feedback crea un modelo de recompensa que guía al modelo original para mejorar su precisión y comportamiento
Para el RLHF, se usan plataformas de etiquetado donde humanos comparan respuestas. Los datos recolectados se procesan con librerías como PyTorch para reentrenar el modelo.
Para recolectar feedback humano puedes usar plataformas como Labelbox, Scale AI o CVAT. Estas permiten que personas califiquen detecciones, generando los datos necesarios para el proceso de RLHF que luego integrarás con PyTorch.
También Roboflow es útil para la fase de curación y limpieza de datos que mencionamos. Permite que humanos etiqueten y califiquen imágenes, creando el dataset necesario para ajustar el modelo y mejorar su precisión mediante feedback.
Se sienten en desorden las clases, considero que esta debería de ir antes de las clases practicas.
Buenísima esta clase!!!
ese tipo de explicación hace bolar la imaginacion a seguir mas adelante
Claude ahora hizo cambios en sus pólizas, todo esta volviendo menos accesible si no tienes suficiente conocimiento para ocupar modelos open source y construir tu propia arquitectura.
El almacenamiento es lo mas necesario y los mas caro, y poco a poco va a subir mas de precio
Gracias
Por favor revisen el n° de orden de las clases. No coinciden en el título, la lista a la derecha y la presentación del curso. No se bien como seguir las clases.
muchas gracias
Increible como avanza de rapido la IA
Realmente son 30 billones de tokens, que en inglés se dice 30 trillions of tokens.
como evitar el sesgo en el RLHF, dado que el feedback humano naturalmente tendra su posición e interpretacion?
