Despliegue de modelos fine-tuned con Hugging Face Endpoints

Contenido del curso

Fundamentos de los LLMs

Componentes Avanzandos de los LLMs

Personalización y Optimización

Evaluación de Modelos

20
Benchmarks para evaluar y comparar modelos LLM
12:53 min

Tomar examen

Cursos Empresas Blog Live Conf Eventos Precios

0:0017:58

Despliegue de modelos fine-tuned con Hugging Face Endpoints

Curso de Fundamentos de LLMs

Clase 18 de 20

Clase 18 / 20

Recursos

Optimizar y desplegar modelos entrenados manualmente es posible gracias a los Hugging Face Inference Endpoints, facilitando la integración en servicios y aplicaciones sin complicadas configuraciones técnicas. Aprende paso a paso cómo guardar tu modelo entrenado, subirlo eficientemente a Hugging Face y desplegarlo en la nube para producción.

¿Cómo guardar tu modelo fine-tuned?

Tras entrenar tu modelo es esencial guardarlo correctamente. Utiliza el método save_model disponible desde tu objeto trainer, especificando claramente el identificador que desees. Esto generará los siguientes archivos clave:

Configuración sobre adaptadores empleados (Lora).
Archivos binarios (safe tensors) con los pesos entrenados.
Configuración relevante para cargarlo posteriormente.

Mantener estos archivos debidamente almacenados posibilitará su uso posterior para inferencia.

¿Cuáles son los pasos para subir tu modelo a Hugging Face?

Hugging Face ofrece simplicidad al subir modelos, actuando similar a un repositorio Git adaptado especialmente para machine learning:

Creación de un token en Hugging Face con permisos de escritura.
Autenticación desde tu Google Colab usando este token.
Subir tu modelo mediante trainer.push_to_hub().

Es recomendable escoger cuidadosamente los permisos del token según el nivel de acceso que deseas otorgar, contando con la opción de especificar niveles más detallados si es necesario.

¿Qué es y cómo crear un archivo handler.py para inferencia?

Para desplegar efectivamente en Hugging Face Inference Endpoints debes:

Generar un archivo handler.py que contenga:
- Inicialización del modelo base y adaptadores.
- Carga del tokenizer para procesar entradas.
- Definir la función __call__ para manejar solicitudes de inferencia desde la API.

Este archivo permitirá al endpoint gestionar automáticamente solicitudes provenientes del usuario, realizando inferencia y retornando la información requerida de manera rápida y segura.

¿Cómo utilizar Hugging Face Inference Endpoints para despliegue en la nube?

Para desplegar modelos facilmente debes entrar a "Inference Endpoints" de Hugging Face, indicando:

Proveedor (AWS recomendado).
Tipo de máquina adecuada (GPU NVIDIA L4 recomendada para optimización).
Nivel de seguridad (Protected, Hugging Face Restricted o Public según necesidad).
Configuración de auto-escalado para control económico.

Al usar esta herramienta se evita lidiar con infraestructura complicada, reduciendo significativamente tiempos de configuración e incrementando tu productividad.

¿Qué consideraciones de costos debes tener presentes?

Es fundamental seleccionar planos que controlen tus gastos:

Establece un tiempo limitado para desactivar instancias si no reciben solicitudes (se recomienda una ventana de 15 minutos).
Inicializa únicamente una réplica por defecto para mantener bajo tu gasto inicial.
Evalúa cuidadosamente el número de solicitudes que tu endpoint atenderá para elegir correctamente el tamaño y tipo de máquina.

Adicionalmente, mediante el dashboard ofrecido por Hugging Face podrás monitorear y pausar tus endpoints para ajustar fácilmente tus costos operativos.

¿Cómo probar rápidamente tu endpoint?

Es posible validar tu endpoint directamente desde el playground disponible, facilitando pruebas rápidas y ajustes inmediatos. También, Hugging Face proporciona opciones detalladas para integrarlo en Python, JavaScript u otros métodos interactivos mediante APIs.

Gabriel Obregón

Hace un año

🧠 Despliegue de Modelos con Hugging Face Inference Endpoints

📦 1. Guardar el Modelo Fine-Tuned

Usa trainer.save_model("nombre_modelo")
Archivos generados:
- Configuración de adaptadores (LoRA)
- Pesos entrenados (safe tensors)
- Configuración de carga futura

🔑 Importante: Guardar bien estos archivos asegura la inferencia posterior.

☁️ 2. Subir el Modelo a Hugging Face

Pasos:

Crear token con permisos de escritura en Hugging Face.
Autenticarse en Google Colab.
Subir modelo: trainer.push_to_hub()

🔒 Consejo: Ajusta los permisos del token según el nivel de acceso necesario.

🛠️ 3. Crear handler.py para Inferencia

Debe incluir:

Carga del modelo y adaptadores
Inicialización del tokenizer
Función __call__ para manejar peticiones

📌 Función: Permite al endpoint procesar y responder solicitudes automáticamente.

🚀 4. Despliegue en Inference Endpoints

Configura en Hugging Face:

Proveedor: AWS (recomendado)
Máquina: GPU NVIDIA L4
Seguridad: Protected, Restricted o Public
Auto-escalado: Actívalo para ahorrar recursos

⚙️ Beneficio: Sin necesidad de configurar infraestructura compleja.

💰 5. Consideraciones de Costo

Recomendaciones:

Establece apagado automático (15 min de inactividad)
Inicia con una sola réplica
Evalúa tráfico para escoger máquina adecuada

📊 Usa el dashboard para monitorear y pausar endpoints.

🧪 6. Prueba del Endpoint

Métodos:

Usar el Playground de Hugging Face
Integrar vía API (Python, JavaScript, etc.)

⚡ Ventaja: Pruebas y ajustes inmediatos desde la interfaz.

Comentarios (16)16 comentarios

Edgar A. Gonzalez Ambriz

Andres Felipe Gonzalez Alarcon

Brian Ariel Ogas

Hace 10 meses

Diego Ortiz

Hace 9 meses

Luis Rebollo

Hace 8 meses•editado

Andres Martin

Julio Saldaña

Daniel Alberto Vega Bejarano

Juan Camilo Usuga Serna

Hace 2 días

Maria Alejadra Delgado Narvaez

Hace 2 meses

Regina Flores

Hace 6 meses

MARIA TERESA PANIAGUA RIVERA

Hace 8 meses

Edgar Villatoro Pérez

Diego Amaya

Kevin Fiorentino

Ricardo Terán

Ricardo Aguilera

Fundamentos de los LLMs

Funcionamiento interno de los grandes modelos de lenguaje

Qué construirás al terminar el curso de LLMs

Historia de la inteligencia artificial desde Turing hasta GPT-4

Tokenización y embeddings en LLMs

Qué es y cómo aprende un MLP

Cómo funciona la atención en GPT-2

Fundamentos de PyTorch para modelos de machine learning

Componentes Avanzandos de los LLMs

Construye GPT-2 desde cero con PyTorch

Qué es RoPE y cómo mejora GPT

Integración de Rope en GPT-2 con PyTorch

Leyes de escalado y modelos multimodales en inteligencia artificial

Cómo se entrena un LLM paso a paso

Mixture of Experts: cómo funciona MoE

RAM y VRAM para ejecutar LLMs en local

Instalación de Olama y configuración de clúster local con ExoLabs

Personalización y Optimización

Fine tuning de GPT-4o con datos propios

Fine Tuning con LoRA en Colab gratis

Despliegue de modelos fine-tuned con Hugging Face Endpoints

Cómo funciona la cuantización de LLMs

Evaluación de Modelos

Benchmarks para evaluar y comparar modelos LLM

Despliegue de modelos fine-tuned con Hugging Face Endpoints

Progreso del curso

Fundamentos de los LLMs

Componentes Avanzandos de los LLMs

Personalización y Optimización

Evaluación de Modelos

Recursos

Recursos