Benchmarks para evaluar y comparar modelos LLM
Contenido del curso
Diego Gabriel Aguilar Morán
Ignacio Robles
Cynthia Mercedes Gorozabel Villavicencio
Marifer Villarroel
Alfredo Olmedo
Héctor Avilés
Gabriel Obregón
Andrea Alexandra Mora Vega
Alejandra Villalobos
camilo plata
Kevin Fiorentino
Leyder Sanchez
Verónica Osorio
Manuel Roa Ojeda
Ramiro Arturo Cely Rodríguez
Draxzlers van
Bryan Castano
Bryan Castano
Valerio Maquera
Juan Manuel Hernández Ávila
Víctor Manuel Sánchez Cruz
Claudia Iliana Padilla Magaña
Andrés Ricardo Cristancho Jiménez
Me fascinó el curso! Soy alguien apasionado por la IA; considero que es el presente y nos ayuda a hacer que nuestras tareas sean resueltas de manera más eficiente.
¡El tabú de la educación latinoamericana de no usar IA para enseñar debe romperse!
Ese tabú nos va a costar años de desarrollo. Necesitamos incorporar estas tecnologías, necesitamos especializarnos en ellas.
Usaré la IA para comunicar un punto dónde me veo obligada a diferir con usted:
La UNESCO propone 4 pilares de la educación (Informe Delors, 1996):
🔎 Por qué se debe limitar el uso de la IA en educación según estos pilares:
👉 En resumen, la IA debe ser una herramienta complementaria y no un sustituto, porque su uso sin límites contradice el sentido formativo integral que defiende la UNESCO.
Evidentemente, aún después de señalar las gravedades del asunto, se recomienda a sí misma como herramienta complementaria.
No obstante, el DESAFÍO no es integrar la IA en la educación, si no hacerlo bien.
Por eso estoy aprendiendo al respecto, como ingeniera industrial planeo diseñar productos cuyos beneficios reduzcan la desigualdad y me permitan medir los impactos para promover regulaciones viables.
Comparto enlace al Chatbot Arena:
Excelente curso Jhenner Tigreros, Capo Total en IA
Vengo del futuro y Gemini ya tiene mejores modelos que OpenAI desde hace meses.
🧠 Evaluación de Modelos de Lenguaje (LLM)
🔍 ¿Cómo elegir el mejor LLM?
📏 ¿Qué son los benchmarks?
📘 Tipos de Benchmarks y Ejemplos
🧮 Matemáticas y Lógica
🌐 Conocimientos Generales
💻 Programación y Lógica
🧠 Razonamiento Global
🧪 Evaluación práctica: Chatbot Arena
⚖️ ¿Modelos de razonamiento o modelos estándar?
Modelos de Razonamiento
Modelos Estándar
A mi me gustaría explorar en AI así como hemos llegado a actuar como una neurona humana y su activación, la posibilidad de conectar físicamente el cerebro humano con una IA artificial.
Gran idea. Estudiar cómo funciona el cerebro humano y su forma de razonamiento desde el uso de la AI.
Entrenar un LLM ya no es un privilegio exclusivo de las Big Tech con presupuestos millonarios. El mito de la infraestructura inalcanzable se desmorona ante nuevas técnicas de optimización que permiten ejecutar y ajustar modelos de vanguardia en un simple escritorio, inaugurando la era de la IA local y soberana.
1. Adiós a la Nube: El fin del monopolio de los centros de datos
El entrenamiento de modelos de lenguaje ha dejado de ser terreno exclusivo de los centros de datos masivos. Gracias a QLoRA (Quantized Low Rank Adaptation), hoy es posible realizar el ajuste fino (fine-tuning) de modelos de 7B en hardware doméstico. La NVIDIA RTX 3090 con 24GB de VRAM se ha consolidado como el estándar de oro para este propósito.
La clave estratégica es la reducción de los pesos del modelo de 32 bits a solo 4 bits mediante librerías como bitsandbytes. Esto transforma radicalmente la eficiencia: un modelo que antes demandaba 28 GB de VRAM puede ajustarse ahora con apenas 6 GB. Para consultoras como Q2B Studio, esto representa una ventaja competitiva crítica; permite ofrecer a las empresas soluciones "On-Premise" que evitan el costoso "Cloud Tax" de proveedores como AWS o Azure, manteniendo la agilidad del desarrollo a medida.
"El mito común de que necesitas miles de dólares en cómputo en la nube para ajustar un LLM es falso; con la optimización adecuada, el escritorio es el nuevo centro de datos."
2. Precisión Quirúrgica: El poder de los vectores singulares (SVFT)
Una de las revelaciones más disruptivas en la ingeniería de parámetros es el método SVFT (Singular Vectors guided Fine-Tuning). A diferencia de LoRA, que añade matrices externas de bajo rango, SVFT utiliza la propia geometría interna de la matriz de pesos original mediante la Descomposición en Valores Singulares (SVD).
Desde una perspectiva estratégica, SVFT ofrece una ventaja matemática superior: para un mismo presupuesto de parámetros, SVFT induce una perturbación de mayor rango (higher-rank perturbation) que LoRA. Al actualizar una combinación dispersa (sparsity patterns) de sus propios vectores singulares (U,Σ,VT), el modelo mantiene una expresividad mucho más amplia. Los datos son contundentes: SVFT logra recuperar el 96% del rendimiento de un entrenamiento completo utilizando tan solo entre el 0.006% y el 0.25% de los parámetros.
3. Privacidad y Soberanía: Tu IA, tus reglas (Ollama)
En el panorama actual, la Soberanía del Dato es el activo más valioso. Herramientas como Ollama han surgido como el centro neurálgico para ejecutar LLMs locales, eliminando la dependencia de APIs de terceros como OpenAI o Gemini, donde la privacidad es siempre una incógnita.
Es fundamental entender la arquitectura del "stack" local: mientras que llama.cpp es el motor de inferencia de alto rendimiento, Ollama actúa como la interfaz que orquesta el sistema. Para una experiencia profesional completa, la recomendación estratégica es integrar Open WebUI, proporcionando una interfaz gráfica de nivel empresarial. Las funciones clave incluyen:
• Gestión de Modelos: Descarga y actualización simplificada desde bibliotecas locales.
• Servidor API integrado: Integración programática segura para aplicaciones internas.
• Aislamiento total: Ejecución 100% offline para datos sensibles o entornos regulados.
4. El Arte de la Cuantización: Inteligencia en miniatura
La cuantización es el proceso de transformar números de coma flotante en enteros, permitiendo que un modelo de 100 GB se reduzca a 25 GB sin sacrificar su esencia cognitiva. Sin embargo, no toda la cuantización es igual.
Existen dos enfoques principales con implicaciones directas en el rendimiento: la cuantización simétrica, que utiliza un valor absoluto máximo (alfa) con el cero en el centro, y la cuantización asimétrica, que mapea un rango específico (0-255). La elección entre ambas depende de cómo el estratega decida manejar los valores atípicos (outliers); mientras que algunos métodos usan percentiles para ignorar ruidos, otros emplean el Error Cuadrático Medio (MSE) para minimizar la distorsión. Esta sintonía fina es la que permite que hardware modesto ejecute modelos que antes parecían imposibles.
5. El Lenguaje es un Mapa: Embeddings y la Geometría del Pensamiento
Los LLMs no procesan palabras, sino vectores numéricos en un espacio multidimensional. Esta estructura permite que el lenguaje se comporte como una red de relaciones geométricas donde la semántica se puede operar matemáticamente.
Bajo este enfoque, podemos realizar "aritmética de conceptos": por ejemplo, el vector resultante de "Mamá" menos "género" equivale a "pariente", o "Regente" más "mujer" nos lleva a "reina". Esta comprensión profunda se logra mediante el mecanismo de atención, que podemos desglosar en una tríada funcional:
• Query (Q): La pregunta o intención de la palabra actual.
• Key (K): La respuesta aproximada de las palabras anteriores.
• Value (V): La modificación real del significado basada en ese contexto.
--------------------------------------------------------------------------------
Conclusión: Un futuro local y abierto
La convergencia de QLoRA, SVFT y Ollama está democratizando el acceso a la inteligencia avanzada. La gran lección para los líderes tecnológicos es clara: hoy, la calidad de los datos supera con creces a la cantidad. Es preferible contar con 1,000 muestras de alta fidelidad y bien curadas para un fine-tuning que con 100,000 registros ruidosos que solo aportan entropía al modelo.
El poder de la IA ha vuelto a las manos de los desarrolladores y las empresas. Ante este nuevo paradigma, la pregunta es obligatoria: ¿Realmente necesita su próximo proyecto vivir en la nube, pagando el peaje de la privacidad y el coste, o ha llegado el momento de reclamar la soberanía en su propio hardware?
Más cursos de Jhenner, por favor. Impecable curso!
🚸 Día 👁️🗨️ *19* 🙂 *¡Carpe Diem!*✌️
Curso de Fundamentos de LLMs
excelente curso.
y deep seek ? Hoy en día tienen buen rendimiento ...
Comparto el Chatbot Arena que comenta el profesor para estar actualizados:
LMArena Leaderboard - a Hugging Face Space by lmarena-ai
Curso 19/23
Me Inspira : Entender como funciona AI por dentro, descubirir la caja negra, ver las entrañas de L'AI y entender como funcionan sus mecanismos , matrices, tensores, pesos y bias, las ReLU y las embeddings, comprender de donde sale la "Magia" ver sus matematicas al fondo, como un LLM entiende en NLP y La Computer Vision, eso me inspira y creo que este curso sirvio mucho para esto, aun falta mucho por aprender, el camino del conocimiento es constante, cada semanaa salen nuevo avances en AI que dejan obsoleto o anterior, son tiempos freneticos, mas conviene adaptarno a esta nueva era de conocmiento constante, AI esta alli, cientos de "Free Models y Resources " como Hugging Face and Kaggle, ya quiero construir mis propios proyectos entrenado modelos libres en la nube y creando apps que hagan cosas utiles com oRAG , LangChain Agent o CNN para vision artificial, aunque casi todo ya esta hecho, algo saldra de la imaginacion, ahora es momento de Pararnos sobre hombros de Gigantes, \n Nunca pares de APrender.
Yo he visto varias charlas de Jhenner en Platzi lives, Yo se que el realmente si sugiere leer recursos cientificos y papers academcios y los publica en esos lives, la falta de recurssos en las clases debe ser por @PlatziTeam lo cual es una pena. \n si se sietneen abrumados con tantos recursos pro leer abran un notebookLM y peguen las fuentes alli, dejen que la AI ayude en su aprendizaje, esta app me parece excelente como asisitnete de estudio para grandes cantidades de texto, ya no existe excusas solo !voluntad.
PD: Se dice [Akuiraecy] \n No [accuRACÝ] \nEl resto estuvo genial, me huibera gustado ver mas sobre el mecaniscmo de self-attention, pero allá afuera en la web hay much0 sobre eso. solo hay que ser curioso.
Dejo por aqui el Documental AlphaGo (subtítulos en español:
Día 19 finalizado :)
Conceptos clave cómo evaluar modelos con benchmarks hasta diferenciar entre LLMs de razonamiento y estándar. El profesor explica con profundidad pero de forma accesible, con ejemplos reales que se entienden perfecto. #Día19Completado
interesante curso aunque siento que debes conocer super bien las bases sino terminas perdido
Explicame la clase como si fuese un periodista
Imagina que eres el editor jefe de un periódico tecnológico. Tu misión no es solo reportar qué modelo salió hoy, sino filtrar el ruido del marketing para encontrar la verdad técnica. Los benchmarks son tus fuentes de investigación: datos fríos como el AIME para lógica o el Chatbot Arena para la opinión pública real.
Tu trabajo es cruzar estas métricas para detectar cuándo una empresa nos vende humo y cuándo hay una mejora real. Si tuvieras que elegir un solo indicador para confiar en un modelo, ¿te guiarías por los exámenes académicos o por la votación ciega de los usuarios?
