Stable Diffusion con Google Colab y DreamStudio

Hola [email protected] 😄!

Tuve un ERROR generando la primera imagen OutOfMemoryError

Se soluciona recargando lo que se habia ejecutado y reduciendo el height y el width de la siguiente manera

image = pipe(prompt, height=512, width=512).images[0

Asi pude continuar con mi actividad hasta el final

DreamStudio
Practicando lo aprendido

Si al ejecutar el comando de estructura de Huggin Face les sale el error que adjunto en la imagen, solo es que carguen asi la importación de torch

import torch
import gc
gc.collect()
torch.cuda.empty_cache()

Y les va a correr sanos y salvos 😄

Si tienen un buen pc y quieren ejecutarlo localmente (o estan usando otro servicio apare de Colab), es posible que les salga este error *Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from

Ahi van a tener que instalar el driver de NVIDIA, les dejo la solución.

Tuve unos problemas, con el modelo para ejecutarlo en mi plantilla, ya los resolví.
En la pagina de Hugging Face nos abajo del codigo aparece este mensaje por si les salta el mismo eeror que el mio, por si nos asignan una RAM con poca capacidad ya que estamos usando el Colab gratuito y no tenemos tanta potencia.

Se copia y pega debajo de donde pegamos el código de cuda, ejecutamos el block de código y volvemos a probar con el prompt.

Si nos sigue molestando también hay algunas soluciones en Stack overflow que se ejecutan debajo de import torch.

Cualquiera de las dos alternativas sirve.

Ejecutamos nuevamente todos los bloques y hacemos el prompt.

Y huala!!Te sale un mono en una playa.

Anime style of Tokyo high school sakura walking in the sunrise, near a lake

width: 512

height: 512

steps: 49

sampler: automatic

seed: 3012571380

cfgScale: 7

model: Stable Diffusion v2.1

CLIP enabled: true

Que miedo xd

tuve que cambiar el tamaño de la imagen a 400 x 400 para que funcionara , casi que no funciona , vamos bien :3

También existe:
https://stablediffusionweb.com/#demo

Hasta ahora no logro tener buenos resultados con Stable Difussion

Stability AI es una organización que desarrolla IA open source.

Lo podemos ejecutar de forma gratis, en google colab o en la app creada por stability AI - DreamStudio, pero esta opción consume créditos y después es de pago.

Hugging Face es la mayor organización de desarrollo de IA open source, muchas personas y orgs suben constantemente sus modelos y datasets.

• Los spaces son las aplicaciones que crearon
• el modelo que vamos a usar es → stabilityai/stable-diffusion-2-1

  • Use in diffusers: para implementar el modelo en python, desde esta libreria

    import os
    os.environ["HF_ENDPOINT"] = "https://huggingface.co"
    
    from diffusers import DiffusionPipeline
    
    pipeline = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
    

  • o github:

    git lfs install
    git clone https://huggingface.co/stabilityai/stable-diffusion-2-1
    

Ejecutar desde google colab:

• entorno de ejecución → cambiar tipo de entorno de ejecucion → GPU

• Instalación de transformers

  pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy
  

• Importar librerias → import torch
  Es el que usa huggingface en sus backend

• Estructura de Hugging Face
  Para inicializar el enviroment

  # sampler para eliminar el ruido y asi crear las imagenes
  from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
  model_id = "stabilityai/stable-diffusion-2-1"
  
  # Use the Euler scheduler here instead
  pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
  pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
  pipe = pipe.to("cuda")
  

• Generando imagenes
  Por default itera 50 veces (en la iunet) sobre la imagen, eliminando el ruido.

  prompt = 'teutonic soldier in the future'
  image = pipe(prompt).images[0] # ejecutamos el prompt
  

  • En este paso podemos tener problemas con la memoria de googel colab, ya que es la opcion free y limitada. para eso tenemos 2 opciones, ademas de bajar la dimension y steps

    • Esto limpia la memoria

    import gc
    del variables
    gc.collect()
    

    • limpiamos el cache

    import torch
    torch.cuda.empty_cache()
    

• Vemos ver la imagen generada con → image
  Podemo guardar esta imagen → image.save('perrito.png')

• Tamaño de imagen

  prompt = 'a photo of a dog with a hat'
  # ajustamos las dimenciones
  image = pipe(prompt, height=512, width=768).images[0]
  

• Pasos de iteracion o steps
  podmeos cambiar que en lugar de hacer 50 por default, bajarlo a 10. Tener mas pasos garantiza mayor calidad de la imagen

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 10).images[0]
  

• Guidance scale → que tanto va a interpretar el prompt, esto puede quitarle algo de creatividad al modelo, por lo general se deja en 7

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 30, guidance_scale=12).images[0]
  

OutOfMemoryError                          Traceback (most recent call last)
<ipython-input-4-e743cdeba9cf> in <module>
      1 prompt = "a photo of an astronaut riding a horse on mars"
----> 2 image = pipe(prompt).images[0]

13 frames
/usr/local/lib/python3.8/dist-packages/diffusers/models/cross_attention.py in get_attention_scores(self, query, key, attention_mask)
    252 
    253         attention_probs = attention_scores.softmax(dim=-1)
--> 254         attention_probs = attention_probs.to(dtype)
    255 
    256         return attention_probs

OutOfMemoryError: CUDA out of memory. Tried to allocate 1.58 GiB (GPU 0; 14.75 GiB total capacity; 12.04 GiB already allocated; 1.39 GiB free; 12.10 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Stability AI es una organización que desarrolla IA open source.

Lo podemos ejecutar de forma gratis, en google colab y en una app creada por stability AI - [DreamStudio], pero esta opcion consume creditos y despues es de pago.

Hugging Face es la mayor organización de desarrollo de IA open source, muchas personas y orgs suben constantemente sus modelos, datasets

Ejecutar desde google colab:

• entorno de ejecución → cambiar tipo de entorno de ejecucion → GPU

• Instalación de transformers

  pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy
  

• Importar librerias → import torch
  Es el que usa huggingface en sus backend

• Estructura de Hugging Face
  Para inicializar el enviroment

  # sampler para eliminar el ruido y asi crear las imagenes
  from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
  model_id = "stabilityai/stable-diffusion-2-1"
  
  # Use the Euler scheduler here instead
  pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
  pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
  pipe = pipe.to("cuda")
  

• Generando imagenes
  Por default itera 50 veces (en la iunet) sobre la imagen, eliminando el ruido.

  prompt = 'teutonic soldier in the future'
  image = pipe(prompt).images[0] # ejecutamos el prompt
  

  • En este paso podemos tener problemas con la memoria de googel colab, ya que es la opcion free y limitada. para eso tenemos 2 opciones, ademas de bajar la dimension y steps

    • Esto limpia la memoria

    import gc
    del variables
    gc.collect()
    

    • limpiamos el cache

    import torch
    torch.cuda.empty_cache()
    

• Vemos ver la imagen generada con → image
  Podemo guardar esta imagen → image.save('perrito.png')

• Tamaño de imagen

  prompt = 'a photo of a dog with a hat'
  # ajustamos las dimenciones
  image = pipe(prompt, height=512, width=768).images[0]
  

• Pasos de iteracion o steps
  podmeos cambiar que en lugar de hacer 50 por default, bajarlo a 10. Tener mas pasos garantiza mayor calidad de la imagen

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 10).images[0]
  

• Guidance scale → que tanto va a interpretar el prompt, esto puede quitarle algo de creatividad al modelo, por lo general se deja en 7

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 30, guidance_scale=12).images[0]
  

Para los que tienen problemas con la memori.

agreguen esta codigo al colab, para limpiar la memoria manualmente

import gc
del prompt
gc.collect()