Diffusers documentation

Hassasiyet ve derleme

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.43.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Hassasiyet ve derleme

Düşük hassasiyet ve derleme, Diffusers çıkarımını hızlandırmak için iki yoldur. Ağırlıkları bfloat16 veya float16 olarak yükleyin, ardından gürültü azaltıcıyı (UNet veya transformer) torch.compile veya bölgesel derleme ile derleyin.

Model veri türü

Model ağırlıklarının hassasiyeti ve veri tipi, daha yüksek hassasiyetin yüklenmesi için daha fazla bellek ve hesaplamaların yapılması için daha fazla zaman gerektirmesi nedeniyle çıkarım hızını etkiler. dtype parametresini atladığınızda Diffusers, model ağırlıklarını float32 olarak yükler; bu nedenle veri tipini değiştirmek, daha hızlı çıkarım elde etmenin basit bir yoludur.

bfloat16
float16
TensorFloat-32

bfloat16, float16'ya benzer ancak sayısal hatalara karşı daha dayanıklıdır. bfloat16 için donanım desteği değişkenlik gösterse de, modern GPU'ların çoğu bfloat16 destekleme kapasitesine sahiptir.

import torch
from diffusers import StableDiffusionXLPipeline

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]

Ölçekli nokta çarpımı dikkati

Scaled dot product attention (SDPA), AttnProcessor2_0 veya attention dispatcher'ın native backend'i üzerinden PyTorch 2.0 ve sonraki sürümlerde varsayılan attention'dır. PyTorch, donanımınız için bir SDPA kernel'i seçer. FlashAttention, SageAttention, xFormers, Hub kernel'leri ve diğer backend'ler için bkz. Attention backends.

torch.compile

torch.compile, PyTorch kodunu ve işlemlerini optimize edilmiş çekirdeklere derleyerek çıkarımı hızlandırır. Genellikle çalışma süresini belirleyen gürültü azaltıcıyı, yani pipeline.unet veya pipeline.transformer bileşenini ve bazen de VAE'yi derlersiniz.

Maksimum hız için aşağıdaki derleyici ayarlarını etkinleştirin (daha fazla seçenek için tam listeye bakın).

import torch
from diffusers import StableDiffusionXLPipeline

torch._inductor.config.conv_1x1_as_mm = True
torch._inductor.config.coordinate_descent_tuning = True
torch._inductor.config.epilogue_fusion = False
torch._inductor.config.coordinate_descent_check_all_directions = True

Denoiser ve VAE'yi yükleyip derleyin. Stable Diffusion XL gibi UNet pipeline'larında pipeline.unet'yi, Flux ve DiT tarzı pipeline'larda ise pipeline.transformer'ı kullanın. Seçebileceğiniz birkaç farklı mod var, ancak "max-autotune" en hızlı çekirdekleri arar ve CUDA grafiklerini kullanır. CUDA grafikleri, birden fazla GPU işlemini tek bir CPU işlemi üzerinden başlatarak overhead'i azaltır.

Bellek yerleşimini channels_last olarak değiştirmek, UNet ve VAE gibi konvolüsyon ağırlıklı modelleri de hızlandırabilir. Ancak bazı modellerin daha yavaş çalışabildiği için önce performans ölçümü yapın.

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda")  # or "mps", "xpu", "cpu"
pipeline.unet.to(memory_format=torch.channels_last)
pipeline.unet = torch.compile(
    pipeline.unet, mode="max-autotune", fullgraph=True
)
pipeline.vae.to(memory_format=torch.channels_last)
pipeline.vae.decode = torch.compile(
    pipeline.vae.decode,
    mode="max-autotune",
    fullgraph=True
)

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]

Derleme ilk seferde yavaştır, özellikle "max-autotune" kullanıldığında, çünkü derleyici çekirdekleri (kernels) arar ve sonrasında aynı derlenmiş pipeline nesnesini kullanmaya devam eder (önbellekleme davranışının nasıl yapılandırılacağını görmek için Derleme Zamanı Önbellekleme ve Önbellekleme Yapılandırması bölümlerine bakın). Derlenmiş pipeline'ın farklı bir görüntü boyutuyla çağrılması yeniden derlemeyi tetikler.

Dinamik şekil derlemesi

torch.compile, girdi şekillerini ve koşulları takip eder ve bunlar farklıysa modeli yeniden derler. Örneğin, bir model 1024x1024 çözünürlüklü bir görüntü üzerinde derlenip farklı bir çözünürlüğe sahip bir görüntüde kullanılırsa yeniden derleme tetiklenir.

Yeniden derlemeyi önlemek için, koşullar değiştiğinde yeniden derlemeyi önlemek amacıyla daha dinamik bir çekirdek üretmeye çalışmak için dynamic=True ekleyin.

+ torch.fx.experimental._config.use_duck_shape = False
+ pipeline.unet = torch.compile(
    pipeline.unet, fullgraph=True, dynamic=True
)

use_duck_shape=False parametresini belirtmek, derleyicinin aynı olan giriş boyutlarını temsil etmek için aynı sembolik değişkeni kullanıp kullanmaması gerektiğini belirtir. Daha fazla ayrıntı için bu yorumuna göz atın.

Tüm modeller, hazır olarak dinamik derlemeden faydalanmayabilir ve değişiklikler gerektirebilir. Dinamik derlemeden faydalanmak için AuraFlowPipeline uygulamasını iyileştiren bu PR'a bakın.

Bir Diffusers modeli için dinamik derleme beklenildiği gibi çalışmıyorsa bir sorun (issue) açmaktan çekinmeyin.

Bölgesel derleme

Bölgesel derleme, bir modelin yalnızca küçük ve sık tekrarlanan blok(lar)ını - genellikle bir transformer katmanı - derleyerek soğuk başlatma gecikmesini azaltır ve derlenmiş artefaktların her sonraki oluşumda yeniden kullanılmasını sağlar. Birçok difüzyon mimarisi için bu, tam grafik derlemesiyle karşılaştırılabilir çalışma zamanı hızlanmaları sağlar ve derleme süresini 8-10 kata kadar kısaltabilir.

Denoiser üzerinde, torch.compile işlevini saran yardımcı olan compile_repeated_blocks() yöntemini kullanın. Pipeline'a bağlı olarak bunu pipeline.unet veya pipeline.transformer üzerinde çağırın.

import torch
from diffusers import StableDiffusionXLPipeline

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    dtype=torch.float16,
).to("cuda")  # or "mps", "xpu", "cpu"
pipeline.unet.compile_repeated_blocks(fullgraph=True)

Yeni bir model için bölgesel derlemeyi etkinleştirmek için _repeated_blocks değerini, tekrarlanan blokların sınıf adlarını (dizgiler) içerecek şekilde ayarlayın. SDXL’in UNet’i için BasicTransformerBlock kullanın. Transformer gürültü azaltıcıları, kendi tekrarlanan blok sınıf adlarını aynı şekilde listeler.

_repeated_blocks = ["BasicTransformerBlock"]

Ayrıca Accelerate içinde, derlenecek aday blokları otomatik olarak seçen bir compile_regions metodu da vardır. Kalan grafik ayrı olarak derlenir. Hangi blokların derleneceğini belirlemek veya derleme bayraklarını ayarlamak için çok fazla seçenek olmadığından, bu durum hızlı deneyler için faydalıdır.

pip install -U accelerate
import torch
from diffusers import StableDiffusionXLPipeline
from accelerate.utils import compile_regions

pipeline = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda")  # or "mps", "xpu", "cpu"
pipeline.unet = compile_regions(pipeline.unet, mode="reduce-overhead", fullgraph=True)

compile_repeated_blocks() bilinçli olarak açık bir yapıdadır. Tekrarlanacak blokları _repeated_blocks içinde listeleyin ve yardımcı işlev yalnızca bu blokları derler. Bu, önbellek yeniden kullanımını tek satır kodda öngörülebilir bir davranış ve kolay bir çıkarım süreci sunar.

Grafik kırılmaları

Grafik kırılmasında sessizce grafiği bölerek hızlanmayı azaltmak yerine, torch.compile'in bir hata vermesini sağlamak için fullgraph=True olarak ayarlayın.

GPU senkronizasyonu

Her gürültü azaltıcı (denoiser) tahmininden sonra, pipeline, sigmas dizinine erişen zamanlayıcının (scheduler) step metodunu çağırır. sigmas değerlerini GPU üzerinde tutmak, her adımda bir CPU↔GPU senkronizasyonuna neden olabilir. Bu maliyet, gürültü azaltıcı derlenene (compile) kadar kolayca gözden kaçabilir. sigmas değerlerini CPU üzerinde bırakmayı tercih edin (Euler gibi Diffusers zamanlayıcıları zaten bunu yapar).

Benchmarks

Derlenmiş boru hatları için çıkarım gecikmesi ve bellek kullanımı verilerini görmek için diffusers/benchmarks veri setine başvurun.

diffusers-torchao deposu, Flux ve CogVideoX'in derlenmiş sürümlerine ait performans ölçümleme sonuçlarını da içerir.

Çekirdekler

Kernels, Hub üzerinde optimize edilmiş hesaplama çekirdekleri oluşturmak, dağıtmak ve yüklemek için bir kütüphanedir. RMSNorm, GEGLU, RoPE ve AdaLN gibi işlemler için attention çekirdeklerini ve özel CUDA çekirdeklerini destekler.

Diffusers Pipeline Integration kılavuzu, bir çekirdeğin add cuda-kernels becerisiyle nasıl entegre edileceğini gösterir. Bu beceri, Claude veya Codex gibi bir ajanın, belirli bir model ve donanımınıza yönelik özel çekirdekler yazmasını sağlar. Codex ve Claude için tüm özel çekirdekler gönderisinde daha fazla ayrıntı bulunur.

Örneğin, add cuda-kernels becerisiyle oluşturulan özel bir RMSNorm çekirdeği, torch.compile ile birlikte H100 üzerinde LTX-Video üretimini 1.43x hızlandırır.

Dinamik kuantizasyon

Dinamik int8 aktivasyon kuantizasyonu torchao içinde kullanılabilir. TorchAoConfig sınıfını Int8DynamicActivationInt8WeightConfig gibi bir yapılandırma ile veya torchao’nun quantize_ API’si ile kullanın. Eski apply_dynamic_quant yardımcı fonksiyonunu kullanmayın.

Birleştirilmiş projeksiyon matrisleri

~DiffusionPipeline.fuse_qkv_projections deneyseldir.

Bir dikkat bloğunda bir giriş, Q, K ve V projeksiyon matrisleriyle temsil edilen üç alt uzaya projekte edilir. Bu projeksiyonlar genellikle ayrı ayrı hesaplanır, ancak bunları yatay olarak tek bir matriste birleştirip projeksiyonu tek adımda gerçekleştirebilirsiniz. Bu, giriş projeksiyonlarının matris çarpımlarının boyutunu artırır ve aynı zamanda kuantizasyonun etkisini iyileştirir.

pipeline.fuse_qkv_projections()

Sonraki adımlar

Update on GitHub