DreamBooth: fine-tuning

Clase 17 de 23 • Curso de Stable Diffusion para Generación de Imágenes con AI

Clase anteriorSiguiente clase

Resumen

¿Cómo entrenar un modelo de Stable Diffusion con DreamVault?

Bienvenido a este emocionante mundo del entrenamiento de modelos de difusión, donde podrás crear conceptos únicos utilizando DreamVault. En esta guía, aprendemos cómo personalizar el modelo Stable Diffusion para representar un concepto específico, como puede ser tu propio rostro. Con las herramientas adecuadas, podrás lograrlo eficazmente, optimizando recursos y obteniendo resultados excepcionales. Vamos a sumergirnos en el proceso de personalización.

¿Qué necesitas para empezar el entrenamiento?

Para entrenar un modelo de difusión, es esencial contar con una serie de requisitos técnicos. Estos pueden ser:

  • Memoria RAM adecuada: Se necesita un mínimo de 10 GB de VRAM para realizar el entrenamiento en tu laptop o sistema.
  • Herramienta adecuada: Usaremos Automatic 11.11 para el entrenamiento, o bien puedes optar por Google Colab en caso de no tener los requisitos mínimos de hardware.
  • Recursos educativos: Un blog detallado y un video en YouTube están disponibles para guiarte paso a paso en la ejecución con Google Colab.

Asegúrate de cumplir con estos puntos antes de continuar.

¿Cómo configurar Automatic 11.11 para entrenar?

El proceso de configuración es sencillo si sigues estos pasos:

  1. Instalación de Extensiones: Ingresa a Automatic 11.11, ve a "Extensiones", selecciona "Available", y desde ahí busca DreamVoot. Haz clic en "Install" para iniciar la descarga desde GitHub.
  2. Reinicio de la instancia: Una vez completada la instalación, reinicia Automatic 11.11. Esto permitirá que la pestaña DreamVoot aparezca en la interfaz.

¿Cómo iniciar el entrenamiento del modelo?

Ahora que el entorno está configurado, continúa con los siguientes pasos para entrenar el modelo:

  1. Creación del modelo: Ve a DreamVoot y crea tu modelo; nómbralo, por ejemplo, "Test". Asegúrate de utilizar la versión 1.5 de Stable Diffusion y configure "Euler Ancestral" como programador de tareas (scheduler).

    # Configuración del modelo
modelo_nombre = "Test"
version = "1.5"
programador = "Euler Ancestral"
crear_modelo(modelo_nombre, version, programador)

  2. Configuración de parámetros: Dirígete a "Concepts" y establece el directorio de imágenes que utilizarás para el entrenamiento. Ajusta el número de épocas y otros parámetros como el learning rate y la precisión.

    # Parámetros de entrenamiento
epocas = 100
learning_rate = 0.001
precision = "FP16"

  3. Clave para el PROM: Define una frase o vector que asociará tu rostro con el concepto de "persona", asegurándote de que no sea una palabra ya existente en inglés.

    # PROM personalizado
prom_vector = "Foto de Alarcon C Person"

  4. Iniciar el entrenamiento: Una vez configurado todo, procede a entrenar el modelo. El tiempo que tardará dependerá de tu GPU, pero variará entre 40 a 45 minutos aproximadamente.

    # Iniciar entrenamiento
entrenar_modelo()

¿Cómo evaluar los resultados y generar imágenes?

Una vez finalizado el entrenamiento, podrás seleccionar el modelo creado desde la sección de modelos y generar imágenes de tu concepto personalizado.

  1. Selección del modelo: Elige el modelo que acabas de entrenar (por ejemplo, "Test").

  2. Generación de imágenes: Prueba diferentes estilos de arte como "Portrait", "Digital Art" 4K, 8K, o "Pencil Sketch".

    # Generación de imagen
generar_imagen("Portrait of Alarcon C Person", estilo="Digital Art 8K")

¿Cuál es el siguiente paso?

¡Ahora que ya dominas el proceso, es momento de un reto! Prueba entrenar diversos modelos de difusión: podría ser tu rostro, el de una mascota o cualquier objeto que desees representar. Luego, comparte tus resultados y observaciones en la sección de comentarios. ¡Sigue explorando y divirtiéndote en este camino del aprendizaje con modelos de difusión!