Diffusers documentation
Hassasiyet ve derleme
Hassasiyet ve derleme
Düşük hassasiyet ve derleme, Diffusers çıkarımını hızlandırmak için iki yoldur. Ağırlıkları bfloat16 veya float16 olarak yükleyin, ardından gürültü azaltıcıyı (UNet veya transformer) torch.compile veya bölgesel derleme ile derleyin.
Model veri türü
Model ağırlıklarının hassasiyeti ve veri tipi, daha yüksek hassasiyetin yüklenmesi için daha fazla bellek ve hesaplamaların yapılması için daha fazla zaman gerektirmesi nedeniyle çıkarım hızını etkiler. dtype parametresini atladığınızda Diffusers, model ağırlıklarını float32 olarak yükler; bu nedenle veri tipini değiştirmek, daha hızlı çıkarım elde etmenin basit bir yoludur.
bfloat16, float16'ya benzer ancak sayısal hatalara karşı daha dayanıklıdır. bfloat16 için donanım desteği değişkenlik gösterse de, modern GPU'ların çoğu bfloat16 destekleme kapasitesine sahiptir.
import torch
from diffusers import StableDiffusionXLPipeline
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.bfloat16
).to("cuda") # or "mps", "xpu", "cpu"
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]float16, bfloat16'ya benzer ancak sayısal hatalara daha yatkın olabilir.
import torch
from diffusers import StableDiffusionXLPipeline
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]TensorFloat-32 (tf32) modu, NVIDIA Ampere ve daha yeni GPU'larda desteklenir ve konvolüsyon ile matris çarpma işlemlerini tf32 ile hesaplar. Depolama ve diğer işlemler float32 olarak korunur. float32 ile çalışan işlemleri hızlandırır; bu nedenle, iş akışının tamamı veya bir kısmı float32 kaldığında en çok fayda sağlar.
PyTorch varsayılan olarak yalnızca konvolüsyonlar için tf32 modunu etkinleştirir ve matris çarpımları için bunu açıkça etkinleştirmeniz gerekir.
import torch
from diffusers import StableDiffusionXLPipeline
torch.backends.cuda.matmul.allow_tf32 = True
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float32
).to("cuda") # or "mps", "xpu", "cpu"
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]Daha fazla ayrıntı için karma hassasiyetli eğitim belgelerine bakın.
Ölçekli nokta çarpımı dikkati
Scaled dot product attention (SDPA), AttnProcessor2_0 veya attention dispatcher'ın native backend'i üzerinden PyTorch 2.0 ve sonraki sürümlerde varsayılan attention'dır. PyTorch, donanımınız için bir SDPA kernel'i seçer. FlashAttention, SageAttention, xFormers, Hub kernel'leri ve diğer backend'ler için bkz. Attention backends.
torch.compile
torch.compile, PyTorch kodunu ve işlemlerini optimize edilmiş çekirdeklere derleyerek çıkarımı hızlandırır. Genellikle çalışma süresini belirleyen gürültü azaltıcıyı, yani pipeline.unet veya pipeline.transformer bileşenini ve bazen de VAE'yi derlersiniz.
Maksimum hız için aşağıdaki derleyici ayarlarını etkinleştirin (daha fazla seçenek için tam listeye bakın).
import torch
from diffusers import StableDiffusionXLPipeline
torch._inductor.config.conv_1x1_as_mm = True
torch._inductor.config.coordinate_descent_tuning = True
torch._inductor.config.epilogue_fusion = False
torch._inductor.config.coordinate_descent_check_all_directions = TrueDenoiser ve VAE'yi yükleyip derleyin. Stable Diffusion XL gibi UNet pipeline'larında pipeline.unet'yi, Flux ve DiT tarzı pipeline'larda ise pipeline.transformer'ı kullanın. Seçebileceğiniz birkaç farklı mod var, ancak "max-autotune" en hızlı çekirdekleri arar ve CUDA grafiklerini kullanır. CUDA grafikleri, birden fazla GPU işlemini tek bir CPU işlemi üzerinden başlatarak overhead'i azaltır.
Bellek yerleşimini channels_last olarak değiştirmek, UNet ve VAE gibi konvolüsyon ağırlıklı modelleri de hızlandırabilir. Ancak bazı modellerin daha yavaş çalışabildiği için önce performans ölçümü yapın.
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.unet.to(memory_format=torch.channels_last)
pipeline.unet = torch.compile(
pipeline.unet, mode="max-autotune", fullgraph=True
)
pipeline.vae.to(memory_format=torch.channels_last)
pipeline.vae.decode = torch.compile(
pipeline.vae.decode,
mode="max-autotune",
fullgraph=True
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]Derleme ilk seferde yavaştır, özellikle "max-autotune" kullanıldığında, çünkü derleyici çekirdekleri (kernels) arar ve sonrasında aynı derlenmiş pipeline nesnesini kullanmaya devam eder (önbellekleme davranışının nasıl yapılandırılacağını görmek için Derleme Zamanı Önbellekleme ve Önbellekleme Yapılandırması bölümlerine bakın). Derlenmiş pipeline'ın farklı bir görüntü boyutuyla çağrılması yeniden derlemeyi tetikler.
Dinamik şekil derlemesi
torch.compile, girdi şekillerini ve koşulları takip eder ve bunlar farklıysa modeli yeniden derler. Örneğin, bir model 1024x1024 çözünürlüklü bir görüntü üzerinde derlenip farklı bir çözünürlüğe sahip bir görüntüde kullanılırsa yeniden derleme tetiklenir.
Yeniden derlemeyi önlemek için, koşullar değiştiğinde yeniden derlemeyi önlemek amacıyla daha dinamik bir çekirdek üretmeye çalışmak için dynamic=True ekleyin.
+ torch.fx.experimental._config.use_duck_shape = False
+ pipeline.unet = torch.compile(
pipeline.unet, fullgraph=True, dynamic=True
)use_duck_shape=False parametresini belirtmek, derleyicinin aynı olan giriş boyutlarını temsil etmek için aynı sembolik değişkeni kullanıp kullanmaması gerektiğini belirtir. Daha fazla ayrıntı için bu yorumuna göz atın.
Tüm modeller, hazır olarak dinamik derlemeden faydalanmayabilir ve değişiklikler gerektirebilir. Dinamik derlemeden faydalanmak için AuraFlowPipeline uygulamasını iyileştiren bu PR'a bakın.
Bir Diffusers modeli için dinamik derleme beklenildiği gibi çalışmıyorsa bir sorun (issue) açmaktan çekinmeyin.
Bölgesel derleme
Bölgesel derleme, bir modelin yalnızca küçük ve sık tekrarlanan blok(lar)ını - genellikle bir transformer katmanı - derleyerek soğuk başlatma gecikmesini azaltır ve derlenmiş artefaktların her sonraki oluşumda yeniden kullanılmasını sağlar. Birçok difüzyon mimarisi için bu, tam grafik derlemesiyle karşılaştırılabilir çalışma zamanı hızlanmaları sağlar ve derleme süresini 8-10 kata kadar kısaltabilir.
Denoiser üzerinde, torch.compile işlevini saran yardımcı olan compile_repeated_blocks() yöntemini kullanın. Pipeline'a bağlı olarak bunu pipeline.unet veya pipeline.transformer üzerinde çağırın.
import torch
from diffusers import StableDiffusionXLPipeline
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
dtype=torch.float16,
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.unet.compile_repeated_blocks(fullgraph=True)Yeni bir model için bölgesel derlemeyi etkinleştirmek için _repeated_blocks değerini, tekrarlanan blokların sınıf adlarını (dizgiler) içerecek şekilde ayarlayın. SDXL’in UNet’i için BasicTransformerBlock kullanın. Transformer gürültü azaltıcıları, kendi tekrarlanan blok sınıf adlarını aynı şekilde listeler.
_repeated_blocks = ["BasicTransformerBlock"]Ayrıca Accelerate içinde, derlenecek aday blokları otomatik olarak seçen bir compile_regions metodu da vardır. Kalan grafik ayrı olarak derlenir. Hangi blokların derleneceğini belirlemek veya derleme bayraklarını ayarlamak için çok fazla seçenek olmadığından, bu durum hızlı deneyler için faydalıdır.
pip install -U accelerate
import torch
from diffusers import StableDiffusionXLPipeline
from accelerate.utils import compile_regions
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.unet = compile_regions(pipeline.unet, mode="reduce-overhead", fullgraph=True)compile_repeated_blocks() bilinçli olarak açık bir yapıdadır. Tekrarlanacak blokları _repeated_blocks içinde listeleyin ve yardımcı işlev yalnızca bu blokları derler. Bu, önbellek yeniden kullanımını tek satır kodda öngörülebilir bir davranış ve kolay bir çıkarım süreci sunar.
Grafik kırılmaları
Grafik kırılmasında sessizce grafiği bölerek hızlanmayı azaltmak yerine, torch.compile'in bir hata vermesini sağlamak için fullgraph=True olarak ayarlayın.
GPU senkronizasyonu
Her gürültü azaltıcı (denoiser) tahmininden sonra, pipeline, sigmas dizinine erişen zamanlayıcının (scheduler) step metodunu çağırır. sigmas değerlerini GPU üzerinde tutmak, her adımda bir CPU↔GPU senkronizasyonuna neden olabilir. Bu maliyet, gürültü azaltıcı derlenene (compile) kadar kolayca gözden kaçabilir. sigmas değerlerini CPU üzerinde bırakmayı tercih edin (Euler gibi Diffusers zamanlayıcıları zaten bunu yapar).
Benchmarks
Derlenmiş boru hatları için çıkarım gecikmesi ve bellek kullanımı verilerini görmek için diffusers/benchmarks veri setine başvurun.
diffusers-torchao deposu, Flux ve CogVideoX'in derlenmiş sürümlerine ait performans ölçümleme sonuçlarını da içerir.
Çekirdekler
Kernels, Hub üzerinde optimize edilmiş hesaplama çekirdekleri oluşturmak, dağıtmak ve yüklemek için bir kütüphanedir. RMSNorm, GEGLU, RoPE ve AdaLN gibi işlemler için attention çekirdeklerini ve özel CUDA çekirdeklerini destekler.
Diffusers Pipeline Integration kılavuzu, bir çekirdeğin add cuda-kernels becerisiyle nasıl entegre edileceğini gösterir. Bu beceri, Claude veya Codex gibi bir ajanın, belirli bir model ve donanımınıza yönelik özel çekirdekler yazmasını sağlar. Codex ve Claude için tüm özel çekirdekler gönderisinde daha fazla ayrıntı bulunur.
Örneğin, add cuda-kernels becerisiyle oluşturulan özel bir RMSNorm çekirdeği, torch.compile ile birlikte H100 üzerinde LTX-Video üretimini 1.43x hızlandırır.
Dinamik kuantizasyon
Dinamik int8 aktivasyon kuantizasyonu torchao içinde kullanılabilir. TorchAoConfig sınıfını Int8DynamicActivationInt8WeightConfig gibi bir yapılandırma ile veya torchao’nun quantize_ API’si ile kullanın. Eski apply_dynamic_quant yardımcı fonksiyonunu kullanmayın.
Birleştirilmiş projeksiyon matrisleri
~DiffusionPipeline.fuse_qkv_projectionsdeneyseldir.
Bir dikkat bloğunda bir giriş, Q, K ve V projeksiyon matrisleriyle temsil edilen üç alt uzaya projekte edilir. Bu projeksiyonlar genellikle ayrı ayrı hesaplanır, ancak bunları yatay olarak tek bir matriste birleştirip projeksiyonu tek adımda gerçekleştirebilirsiniz. Bu, giriş projeksiyonlarının matris çarpımlarının boyutunu artırır ve aynı zamanda kuantizasyonun etkisini iyileştirir.
pipeline.fuse_qkv_projections()
Sonraki adımlar
Bunların tümünü flux-fast tariflerini kullanarak TorchInductor ve AOTInductor ile birleştirerek ~2.5x hızlanma elde etmenin yollarını öğrenmek için Presenting Flux Fast: Making Flux go brrr on H100s blog yazısını okuyun.
Bu tarifler AMD donanımı ve Flux.1 Kontext Dev destekler.
Difüzyon modelleri için
torch.compileile performansı en üst düzeye çıkarmak için torch.compile and Diffusers: A Hands-On Guide to Peak Performance blog yazısına bakın.