Gpt-35-turbo se puede tunear en: North Central US y
Sweden Central.
Introducción a Azure Open AI
¿Qué es Open AI en Azure?
¿Cómo acceder a Open AI en Azure?
La era de la AI en la nube de Microsoft
¿Cómo desplegar Azure Open AI?
Open AI Studio
Azure OpenAI Studio
¿Cómo usar la API REST de Azure OpenAI?
ChatGPT
DALL.E y Generación de Código
IA Responsable
Prompt Enginereering
GPT4Vision
Fine Tuning
Embedding
Uso de los datos (Chat with your Data)
Arquitectura RAG
Chatea con tus datos no estructurados
Desarrollo y Despliegue chatbot
Chatea con tus datos estructurados
Monitoreo
Quotas, limites, costos
Monitoreo del servicio
Mejores prácticas
Implementación
Seguridad y privacidad
Conclusiones
Conclusiones: Recomendaciones finales
No tienes acceso a esta clase
¡Continúa aprendiendo! Únete y comienza a potenciar tu carrera
Si ya tienes una cuenta,
Fine Tuning
11/21Recursos
¿Cómo realizar fine tuning en OpenAI Studio?
En el mundo de la inteligencia artificial, personalizar modelos existentes para cumplir con necesidades específicas se ha convertido en una importante habilidad, ¡y aquí es donde entra en juego el fine tuning! Usar OpenAI Studio para ajustar modelos mediante finos ajustes, utilizando datos propios, es un proceso accesible y transformador. Este artículo ofrece una guía comprensiva sobre cómo hacerlo, explorando las especificaciones y consideraciones necesarias para realizar un exitoso fine tuning de modelos en Azure OpenAI Service con OpenAI Studio.
¿Qué modelos y regiones son compatibles?
Al planear hacer fine tuning de modelos en Azure, es crucial conocer las restricciones relacionadas con los modelos y las regiones compatibles. No todos los modelos disponibles soportan el proceso de fine tuning, y no todas las regiones de Azure los tienen habilitados. Entre los modelos compatibles, se destaca GPT-3.5 Turbo, en su versión 0.6.13.
- Modelos compatibles: Solo algunos modelos, como GPT-3.5 Turbo, permiten el fine tuning.
- Regiones habilitadas: Hay que verificar si en la región seleccionada hay capacidad y permisos para realizar el entrenamiento.
¿Cómo seleccionar y preparar los datos de entrenamiento?
Para personalizar un modelo, precisamos de datos específicamente seleccionados para el contexto deseado. Estos datos se pueden subir desde archivos locales o cuentas de almacenamiento.
- Datos de entrenamiento: Selecciona el archivo que contiene tus datos de entrenamiento y aplícalo en el proceso.
- Datos de validación: Escoge los datos destinados a validar los resultados del entrenamiento.
¿Cómo se realiza efectivamente el proceso de entrenamiento?
El proceso de entrenamiento o fine tuning es donde el modelo existente se ajusta para comportarse según la configuración y datos proporcionados. Este proceso puede llevar desde minutos hasta días, dependiendo de la cantidad de datos.
- Iniciar el entrenamiento: Utiliza OpenAI Studio para iniciar el fine tuning del modelo seleccionado aplicando la configuración por defecto o personalizada.
- Seguimiento del progreso: Revisa los modelos que ya han culminado el fine tuning para futuras referencias.
¿Cómo se despliega el modelo ajustado?
Una vez el modelo ha completado el proceso de fine tuning, se requiere un despliegue explícito para que esté disponible en Azure OpenAI Service. Este paso no solo garantiza la disponibilidad del modelo, sino que también asegura que los datos entrenados se mantengan privados y específicos al usuario.
- Pasos de despliegue: Despliega el modelo ajustado especificando un nombre, por ejemplo, FT-GPT35Turbo.
- Verificar el estado: Utiliza el chat Playground para asegurarte de que el modelo ha sido apropiadamente desplegado y está listo para su uso en esta interfaz interactiva.
¿Cómo verificar y utilizar el comportamiento del modelo ajustado?
Después del despliegue, es fundamental probar cómo el modelo responde según el comportamiento esperado. Para este ejemplo, se entrenó para responder sarcásticamente, basándose en datos reales.
- Configuración del comportamiento: Ajusta el mensaje del sistema para indicar que el chatbot debe comportarse sarcásticamente.
- Evaluación del modelo: Usa preguntas de prueba para evaluar si el modelo responde adecuadamente al tono sarcástico configurado.
¿Qué desafíos comunes se pueden enfrentar?
Existen ciertos desafíos asociados al proceso de fine tuning que debes anticipar:
- Capacidad de la región: Asegúrate de que haya capacidad disponible en la región seleccionada para el entrenamiento.
- Costos: Planifica y presupuestaliza el proceso de entrenamiento, dado que puede influir en los costos del servicio.
- Tiempo: El proceso de ajuste requiere planificación para tomar en cuenta el tiempo de entrenamiento.
Este proceso ofrece una maravillosa oportunidad para adaptar las capacidades de un modelo OpenAI a necesidades particulares, mejorando así la funcionalidad en escenarios específicos. Experimenta, ajusta y disfruta las innumerables posibilidades de personalización que ofrece el fine tuning de modelos AI. ¡No dudes en adaptar tus modelos y evalúa el comportamiento que deseas replicar!
Aportes 3
Preguntas 3
Ordenar por:
### Cómo Hacer Fine-Tuning en la Plataforma de Azure
Realizar fine-tuning en Azure OpenAI Service te permite personalizar los modelos de OpenAI con tus propios datos. Aquí tienes una guía detallada para realizar fine-tuning en Azure AI Foundry:
#### Requisitos Previos
1. **Leer la Guía de Uso de Fine-Tuning en Azure OpenAI**.
2. **Suscripción de Azure**: Necesitas una suscripción de Azure. Puedes crear una de forma gratuita.
3. **Recurso de Azure OpenAI**: Debes tener un recurso de Azure OpenAI en una región que soporte el fine-tuning de los modelos de Azure OpenAI.
4. **Acceso a Fine-Tuning**: Requiere el rol **Cognitive Services OpenAI Contributor**.
#### Modelos que Soportan Fine-Tuning
Los siguientes modelos de Azure OpenAI soportan fine-tuning:
* `gpt-35-turbo` (0613)
* `gpt-35-turbo` (1106)
* `gpt-35-turbo` (0125)
* `gpt-4` (0613) **(en vista previa pública)**
* `gpt-4o` (2024-08-06)
* `gpt-4o-mini` (2024-07-18)
También puedes fine-tuning un modelo que ya haya sido fine-tuned anteriormente.
#### Flujo de Trabajo en Azure AI Foundry
1. **Prepara tus datos de entrenamiento y validación**:
* Tus datos deben estar en formato JSONL, codificados en UTF-8 con un byte-order mark (BOM). El archivo debe ser menor a 512 MB.
* Puedes subir archivos locales o importarlos desde Azure Blob Storage.
2. **Usa el Asistente para Crear un Modelo Personalizado**:
* Abre Azure AI Foundry y selecciona tu proyecto. Si no tienes un proyecto, crea uno primero.
* Navega a **Herramientas > Fine-tuning** y selecciona **Fine-tune model**.
3. **Selecciona el Modelo Base**:
* Elige un modelo base para el fine-tuning. Tu elección afectará el rendimiento y el costo del modelo.
4. **Elige tus datos de entrenamiento**:
* Puedes seleccionar datos de entrenamiento existentes o subir nuevos datos.
5. **Opcional: Elige tus datos de validación**:
* Puedes seleccionar datos de validación para evaluar el rendimiento del modelo.
6. **Opcional: Configura los parámetros de tu trabajo de fine-tuning**:
* Puedes configurar parámetros adicionales para tu trabajo de fine-tuning.
7. **Revisa tus elecciones y entrena tu nuevo modelo personalizado**:
* Revisa tus elecciones y comienza el entrenamiento.
8. **Revisa el estado de tu modelo personalizado**:
* Puedes monitorear el estado del trabajo de fine-tuning.
9. **Despliega tu modelo personalizado**:
* Una vez que el modelo esté entrenado, puedes desplegarlo para su uso.
10. **Usa tu modelo personalizado**:
* Puedes usar tu modelo personalizado a través de la API de Azure OpenAI.
11. **Opcional: Analiza tu modelo personalizado**:
* Puedes analizar el rendimiento y la adecuación de tu modelo.
#### Ejemplo de Subida de Datos de Entrenamiento
Aquí tienes un ejemplo de cómo subir archivos de entrenamiento y validación usando el SDK de Python:
```js
import os
from openai import AzureOpenAI
client = AzureOpenAI(
azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT"),
api_key=os.getenv("AZURE_OPENAI_API_KEY"),
api_version="2024-05-01-preview"
)
training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'
training_response = client.files.create(
file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response.id
validation_response = client.files.create(
file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response.id
print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)
```
Fine-Tuning Iterativo
Puedes realizar fine-tuning iterativo seleccionando un modelo que ya haya sido fine-tuned como modelo base.
#### Conclusión
Realizar fine-tuning en Azure OpenAI Service te permite personalizar los modelos de OpenAI con tus propios datos, mejorando el rendimiento y la relevancia de las respuestas. Sigue estos pasos para crear y desplegar modelos personalizados en Azure AI Foundry.
**Introducción**
En esta clase, abordaremos el proceso de afinación de modelos de Inteligencia Artificial (IA) utilizando HUNI Service y OpenAI. Exploraremos cómo usar nuestros propios datos de entrenamiento y validación para mejorar los modelos existentes y adaptarlos a nuestras necesidades específicas.
**Definiciones**
* **Afinación de Modelos**: Es el proceso de ajustar un modelo preexistente (como GPT-3.5 Turbo) con nuestros propios datos para mejorar su rendimiento en una tarea específica.
* **HUNI Service y OpenAI**: Son plataformas de IA que ofrecen una variedad de modelos que podemos afinar.
**Desarrollo**
**Selección del Modelo y la Región**
No todos los modelos en HUNI Service son susceptibles de afinación. Algunos modelos, como el GPT-3.5 Turbo versión 0613, sí permiten este proceso. Sin embargo, también necesitamos tener suficiente capacidad en la región de Azure donde estamos trabajando. En este tutorial, usaremos la región Norte Central.
**Preparación de los Datos**
Para el entrenamiento y la validación, utilizaremos archivos de datos previamente cargados. Estos datos, que se tomaron de Microsoft Learning, incluyen ejemplos de preguntas y respuestas que ayudarán al modelo a aprender a responder de manera sarcástica pero proporcionando información real.
**Iniciando el Proceso de Afinación**
Una vez configurado, iniciaremos el proceso de afinación. Este proceso puede llevar desde minutos hasta días, dependiendo del volumen de datos de entrenamiento.
**Despliegue del Modelo**
Una vez completada la afinación, el modelo no se desplegará automáticamente. Como estos modelos contienen datos de entrenamiento, es necesario que el usuario haga un despliegue explícito.
**Prueba del Asistente Virtual**
Finalmente, probaremos nuestro asistente virtual para ver qué tan bien ha aprendido a responder de manera sarcástica.
**Conclusión**
En esta clase, hemos aprendido a afinar un modelo GPT-3.5 Turbo utilizando HUNI Service y OpenAI. Este conocimiento nos permite mejorar nuestras soluciones basadas en IA y adaptarlas a nuestras necesidades específicas. Te animo a que pruebes este proceso con tus propios datos y evalúes cómo puedes mejorar tus soluciones basadas en inteligencia artificial generativa.
¿Quieres ver más aportes, preguntas y respuestas de la comunidad?