Stable Diffusion con Google Colab y DreamStudio

Hola Chic@s 😄!

Tuve un ERROR generando la primera imagen OutOfMemoryError

Se soluciona recargando lo que se habia ejecutado y reduciendo el height y el width de la siguiente manera

image = pipe(prompt, height=512, width=512).images[0

Asi pude continuar con mi actividad hasta el final

DreamStudio
Practicando lo aprendido

Si al ejecutar el comando de estructura de Huggin Face les sale el error que adjunto en la imagen, solo es que carguen asi la importación de torch

import torch
import gc
gc.collect()
torch.cuda.empty_cache()

Y les va a correr sanos y salvos 😄

Anime style of Tokyo high school sakura walking in the sunrise, near a lake

width: 512

height: 512

steps: 49

sampler: automatic

seed: 3012571380

cfgScale: 7

model: Stable Diffusion v2.1

CLIP enabled: true

Que miedo xd

Me siento como niño en dulcería aprendiendo todo esto. Me sigue pareciendo impresionante la capacidad de hacer esto.

Si tienen un buen pc y quieren ejecutarlo localmente (o estan usando otro servicio apare de Colab), es posible que les salga este error *Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from

Ahi van a tener que instalar el driver de NVIDIA, les dejo la solución.

Stability AI es una organización que desarrolla IA open source.

Lo podemos ejecutar de forma gratis, en google colab y en una app creada por stability AI - [DreamStudio], pero esta opcion consume creditos y despues es de pago.

Hugging Face es la mayor organización de desarrollo de IA open source, muchas personas y orgs suben constantemente sus modelos, datasets

Ejecutar desde google colab:

• entorno de ejecución → cambiar tipo de entorno de ejecucion → GPU

• Instalación de transformers

  pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy
  

• Importar librerias → import torch
  Es el que usa huggingface en sus backend

• Estructura de Hugging Face
  Para inicializar el enviroment

  # sampler para eliminar el ruido y asi crear las imagenes
  from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
  model_id = "stabilityai/stable-diffusion-2-1"
  
  # Use the Euler scheduler here instead
  pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
  pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
  pipe = pipe.to("cuda")
  

• Generando imagenes
  Por default itera 50 veces (en la iunet) sobre la imagen, eliminando el ruido.

  prompt = 'teutonic soldier in the future'
  image = pipe(prompt).images[0] # ejecutamos el prompt
  

  • En este paso podemos tener problemas con la memoria de googel colab, ya que es la opcion free y limitada. para eso tenemos 2 opciones, ademas de bajar la dimension y steps

    • Esto limpia la memoria

    import gc
    del variables
    gc.collect()
    

    • limpiamos el cache

    import torch
    torch.cuda.empty_cache()
    

• Vemos ver la imagen generada con → image
  Podemo guardar esta imagen → image.save('perrito.png')

• Tamaño de imagen

  prompt = 'a photo of a dog with a hat'
  # ajustamos las dimenciones
  image = pipe(prompt, height=512, width=768).images[0]
  

• Pasos de iteracion o steps
  podmeos cambiar que en lugar de hacer 50 por default, bajarlo a 10. Tener mas pasos garantiza mayor calidad de la imagen

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 10).images[0]
  

• Guidance scale → que tanto va a interpretar el prompt, esto puede quitarle algo de creatividad al modelo, por lo general se deja en 7

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 30, guidance_scale=12).images[0]
  

Aunque con un corte de grabado bastante extraño, 3 modelos, cuatro plataformas, 3 cuadernos, y muchos créditos consumidos después, la vieja confiable Stable Diffusion tomó el estilo de Goya:

También existe:
https://stablediffusionweb.com/#demo

Para los que tienen problemas con la memori.

agreguen esta codigo al colab, para limpiar la memoria manualmente

import gc
del prompt
gc.collect()

Información resumida de esta clase
#EstudiantesDePlatzi

• Stable Difussion es un modelo gratis y libre

• Se hacen 50 pasos por defecto para la eliminación de ruido al crear la imagen

• El Prompt también puede ser muy declarativo}

• Dentro de Google Colab podemos hacer transformaciones a las imágenes

• Puedo definir el número de pasos que hace el modelo, entre más pasos mejor la calidad pero más tiempo toma

• Con guidance scale puedo definir que tanto siga el modelo al pie de la letra al prompt

• Podemos usar alguna interfaz para utilizar los modelos pero esta suele tener costo

Que realismo mas barbaro!!!

Blonde US girl in yellow raincoat, Canon 35mm, smiling, rain-soaked face, blurry background, realistic.

Stability AI es una organización que desarrolla IA open source.

Lo podemos ejecutar de forma gratis, en google colab o en la app creada por stability AI - DreamStudio, pero esta opción consume créditos y después es de pago.

Hugging Face es la mayor organización de desarrollo de IA open source, muchas personas y orgs suben constantemente sus modelos y datasets.

• Los spaces son las aplicaciones que crearon
• el modelo que vamos a usar es → stabilityai/stable-diffusion-2-1

  • Use in diffusers: para implementar el modelo en python, desde esta libreria

    import os
    os.environ["HF_ENDPOINT"] = "https://huggingface.co"
    
    from diffusers import DiffusionPipeline
    
    pipeline = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1")
    

  • o github:

    git lfs install
    git clone https://huggingface.co/stabilityai/stable-diffusion-2-1
    

Ejecutar desde google colab:

• entorno de ejecución → cambiar tipo de entorno de ejecucion → GPU

• Instalación de transformers

  pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate scipy
  

• Importar librerias → import torch
  Es el que usa huggingface en sus backend

• Estructura de Hugging Face
  Para inicializar el enviroment

  # sampler para eliminar el ruido y asi crear las imagenes
  from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
  model_id = "stabilityai/stable-diffusion-2-1"
  
  # Use the Euler scheduler here instead
  pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
  pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
  pipe = pipe.to("cuda")
  

• Generando imagenes
  Por default itera 50 veces (en la iunet) sobre la imagen, eliminando el ruido.

  prompt = 'teutonic soldier in the future'
  image = pipe(prompt).images[0] # ejecutamos el prompt
  

  • En este paso podemos tener problemas con la memoria de googel colab, ya que es la opcion free y limitada. para eso tenemos 2 opciones, ademas de bajar la dimension y steps

    • Esto limpia la memoria

    import gc
    del variables
    gc.collect()
    

    • limpiamos el cache

    import torch
    torch.cuda.empty_cache()
    

• Vemos ver la imagen generada con → image
  Podemo guardar esta imagen → image.save('perrito.png')

• Tamaño de imagen

  prompt = 'a photo of a dog with a hat'
  # ajustamos las dimenciones
  image = pipe(prompt, height=512, width=768).images[0]
  

• Pasos de iteracion o steps
  podmeos cambiar que en lugar de hacer 50 por default, bajarlo a 10. Tener mas pasos garantiza mayor calidad de la imagen

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 10).images[0]
  

• Guidance scale → que tanto va a interpretar el prompt, esto puede quitarle algo de creatividad al modelo, por lo general se deja en 7

  prompt = 'a photo of a dog with a hat'
  image = pipe(prompt, height=512, width=768, num_inference_steps= 30, guidance_scale=12).images[0]
  

Hola que tal a todos, aquí les dejo algunos demos que hice desde mi ordenador, solo que no me esta gustando mucho como quedan las imágenes a veces quedan descuartizadas

la primera prueba la hice con 720 a 1080 de resolución no me tarde en nada en hacer el render menos de 1 minuto.
(https://static.platzi.com/media/user_upload/prueba1-cff047ad-2453-49e0-8c11-1eb0b2a65e46.jpg)

Aqui esta la imagen completa

La segunda prueba es 1080 x 1920

Completa

Sinceramente me gusto esto para hacer la portada de mi libro, pero le falta aun más para desarrollar algo más profesional espero mejorar esto en un futuro e ir a prendiendo más.

En los recursos no hay enlaces, para que lo revisen…

Me pareció encantador

Hasta ahora no logro tener buenos resultados con Stable Difussion

Este curso cada vez se pone mejor 🏅🚀💚🔥

Prompt: a dream of a photo of a black husky jumping in the snow

Hola! a mi me da este error:
────────────────────────────────
OutOfMemoryError: CUDA out of memory. Tried to allocate 30.00 MiB (GPU 0; 14.75 GiB total capacity; 13.38 GiB
already allocated; 20.81 MiB free; 13.43 GiB reserved in total by PyTorch) If reserved memory is >> allocated
memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and
PYTORCH_CUDA_ALLOC_CONF

OutOfMemoryError                          Traceback (most recent call last)
<ipython-input-4-e743cdeba9cf> in <module>
      1 prompt = "a photo of an astronaut riding a horse on mars"
----> 2 image = pipe(prompt).images[0]

13 frames
/usr/local/lib/python3.8/dist-packages/diffusers/models/cross_attention.py in get_attention_scores(self, query, key, attention_mask)
    252 
    253         attention_probs = attention_scores.softmax(dim=-1)
--> 254         attention_probs = attention_probs.to(dtype)
    255 
    256         return attention_probs

OutOfMemoryError: CUDA out of memory. Tried to allocate 1.58 GiB (GPU 0; 14.75 GiB total capacity; 12.04 GiB already allocated; 1.39 GiB free; 12.10 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

Tuve unos problemas, con el modelo para ejecutarlo en mi plantilla, ya los resolví.
En la pagina de Hugging Face nos abajo del codigo aparece este mensaje por si les salta el mismo eeror que el mio, por si nos asignan una RAM con poca capacidad ya que estamos usando el Colab gratuito y no tenemos tanta potencia.

Se copia y pega debajo de donde pegamos el código de cuda, ejecutamos el block de código y volvemos a probar con el prompt.

Si nos sigue molestando también hay algunas soluciones en Stack overflow que se ejecutan debajo de import torch.

Cualquiera de las dos alternativas sirve.

Ejecutamos nuevamente todos los bloques y hacemos el prompt.

Y huala!!Te sale un mono en una playa.

tuve que cambiar el tamaño de la imagen a 400 x 400 para que funcionara , casi que no funciona , vamos bien :3

Excelente clase, gracias. Repasamos codificación, aprendemos modelos de difusión y transformers, etc. de forma amena y divertida.

Información resumida de esta clase
#EstudiantesDePlatzi

• Hugging face es la mayor comunidad de IA

• Es muy fácil descargar este modelo de GitHub

• 50 pasos son los que vienen por defecto en este modelo, esto lo puedo modificar

• Parece que tener mayor cantidad de pasos genera imágenes de mayor calidad

• En el parametros guidance_scale debemos buscar un punto intermedio