Fine Tuning con LoRA en Colab gratis
Contenido del curso
Jose Daniel Barría Reyes
Tadeo Juarez
Dylan Torres Rodríguez
NESTOR IVAN RONCANCIO CABALLERO
Gabriel Obregón
Tetsu Osnaya
Ignacio Robles
Moises Bravo
Kevin Fiorentino
Kevin Fiorentino
Luis Boivar
David Saavedra
Edwin Garcés Saucedo
Santiago Pineda Botero
Santiago Pineda Botero
Luis Rebollo
Julian David Garcia Lopez
Néstor Miguel González Flores
Mateo Montoya Henao
Maria Alejadra Delgado Narvaez
Maria Alejadra Delgado Narvaez
Carlos Fernandez
Andrés Ricardo Cristancho Jiménez
Juan Diego Ussa Aponte
Juan Diego Ussa Aponte
MARIA TERESA PANIAGUA RIVERA
Diego Ortiz
La clase está genial, pero siento que se entendería mucho mejor y sería más fácil de seguir con un gráfico o un mapa conceptual. Creo que ayudaría un montón a entender todo el proceso. ¡Gracias!
Completamente de acuerdo Jose!
Como aprendiz del tema, coincido en que los recursos visuales son útiles. Sin embargo, mi estrategia personal es crearlos yo mismo mientras tomo apuntes, eso ayuda a procesar mejor cada concepto. Al final, el curso funciona como una base para seguir investigando por cuenta propia.
🧠 Fine-tuning eficiente con LoRA sobre modelos LLM cuantizados
🔧 ¿QUÉ HACE ESTE SCRIPT?
Realiza el fine-tuning eficiente de un modelo LLM (Phi-3 Mini de Microsoft) usando:
📦 1. IMPORTACIÓN DE LIBRERÍAS
¿Por qué se usan?
🧠 2. CARGA DE MODELO CUANTIZADO
Modelo base: microsoft/Phi-3-mini-4k-instruct
Cuantización:
Resultado: Carga rápida y eficiente de un LLM listo para ser adaptado.
🧪 3. ADAPTACIÓN CON LoRA
¿Qué es LoRA?
Ventajas:
Configuración usada:
🗃️ 4. DATASET CONVERSACIONAL (YODA)
Origen: dvgodoy/yoda_sentences (Hugging Face)
Proceso:
Ejemplo de formato final:
[
{"role": "user", "content": "Do or do not."},
{"role": "assistant", "content": "There is no try."}
]
🏋️ 5. ENTRENAMIENTO
Tokenizador: Adaptado a formato de conversación (chat_template) y con pad_token
Configuración SFT:
Trainer usado: SFTTrainer (de trl)
🔍 6. INFERENCIA
Función: Genera respuestas del modelo fine-tuneado usando plantilla de chat
Ejemplo:
sentence = 'The Force is strong in you!'
→ respuesta adaptada estilo Yoda
☁️ 7. GUARDADO Y PUBLICACIÓN EN HUGGING FACE
Pasos:
Yo no veo el paper para esperar los 23 minutos
Veo muchos errores con las clases nuevas.
Veo muchos errores en los nuevos cursos
Reportalos a para que los arreglen. Dejar un comentario acá no va a servir de nada. Hay que ayudar a que puedan solucionarlo.
Si el modelo dice "-instruct", son ideales para hacer fine tuning. Gran dato!
datazo
Dejo el Enlace el Colab:
El enlace de Google Colab me abre el de la sesión anterior, intenté usar la URL que se ve en el video, pero ese no me abre ¿pudieran corregirlo?
Dentro de la cuantización de modelos de lenguaje, existen varias alternativas avanzadas que van más allá de la simple reducción de precisión. Algunas de estas técnicas incluyen:
Quantization-Aware Training (QAT): Entrena el modelo teniendo en cuenta la cuantización, lo que permite una mejor precisión en comparación con la cuantización posterior al entrenamiento.
Post-Training Quantization (PTQ): Reduce el tamaño del modelo sin necesidad de reentrenar, ajustando los pesos preentrenados.
Dynamic Quantization: Cuantiza los pesos en tiempo de ejecución, permitiendo un uso más flexible de la memoria.
Mixed Precision Quantization: Combina diferentes niveles de precisión para distintos componentes del modelo, optimizando el rendimiento.
Estas técnicas pueden mejorar notablemente la eficiencia y el rendimiento de los modelos LLMs en entornos con recursos limitados.
Para utilizar GPUs en proyectos de aprendizaje profundo, algunas bibliotecas populares compatibles son:
Estas bibliotecas te permitirán optimizar el rendimiento de tus modelos LLMs y otros proyectos de machine learning.
Nota: en versiones recientes de Colab, el tipo de instancia se puede ver en la esquina inferior derecha:
Tambien, me dio este error(1) al ejecutar la linea(2):
1) AttributeError: 'NoneType' object has no attribute 'cquantize_blockwise_fp16_nf4'
2) model = AutoModelForCausalLM.from_pretrained(repo_id, device_map='cuda:0', quantization_config=bnb_config)
Usando Gemini, el problema fue la version de la libreria bitsandbytes. Parece que la del colab esta desactualizada. Usen la version bitsandbytes==0.49.1 y ejecuten todo desde cero.
Modelo base:
Error: []
Here’s a no-code-friendly breakdown of LoRA (Low-Rank Adaptation) for fine-tuning giant models efficiently! 🎯✨
1. What is LoRA?
LoRA is a technique to fine-tune massive models (like GPT-3) without modifying all their weights—saving 90%+ compute! 🚀
2. How LoRA Works (Visually)
Imagine a pretrained model as a frozen pizza 🍕:
Key steps:
3. Why LoRA is a Game-Changer
4. Using LoRA Without Coding
Tools like Hugging Face PEFT (Parameter-Efficient Fine-Tuning) or RunPod offer LoRA fine-tuning via:
Want a specific tool recommendation? 😊
*Example: Fine-tune GPT-3 for customer support with LoRA—just upload chatlogs and pick layers to adapt!*
Visual Recap:
Original Weights 🧊 + LoRA Adapters 🎛️ = Task-Specialized Model 🏆
el arcivo de recursos no es el mismo que se explica en la clase. podrian cargar el mismo arhivo?
el del video se llama Estrategias Avanzadas de Fine tunnig..., el que está en recursos se llama Introduction to Fine Tunning. y el contenido es diferente
Ahí esta en el video, puedes copiar la URL.
Imagina que quieres enseñarle a un modelo gigante a hablar como Yoda, pero no tienes un supercomputador. LoRA es como el atajo definitivo: en lugar de reentrenar todo el cerebro del modelo —que costaría millones—, solo entrenas una capa minúscula y súper eficiente que se "acopla" al original.
Es básicamente hackear el modelo para que aprenda cosas nuevas sin romper lo que ya sabe. ¿Te imaginas qué otras aplicaciones podrías darle a este "adaptador" si pudieras entrenarlo en cualquier tema específico?
La elección del Rango (r): ¿Cómo saber si afecta el aprendizaje?
El valor de r (el ancho de nuestras matrices reducidas) es un hiperparámetro:
Una investigación de Microsoft demuestra que rangos sorprendentemente bajos (como r=8) suelen ser suficientes.
¿A qué partes del modelo se aplica?
No se aplica LoRA a todo el modelo por igual. En un Transformer, la lógica sistemática dicta que el conocimiento más flexible reside en las capas de Atención (Attention Layers). y ¿Porque ahí? proque se ha descubierto que estas proyecciones de atención son las que controlan cómo el modelo relaciona un concepto con otro. Al modificar solo la atención, permites que el modelo "mire" los datos de forma distinta sin destruir el lenguaje que ya conoce.
Gracias
100.000 x 100.000 no es 10 billones, es 10.000'000.000 (diez mil millones). En inglés sí sería 10 billions
