Diffusers documentation
정밀도와 컴파일
정밀도와 컴파일
낮은 정밀도와 컴파일은 Diffusers 추론을 가속화하는 두 가지 방법입니다. 가중치를 bfloat16 또는 float16로 로드한 후, torch.compile 또는 지역적 컴파일을 사용하여 디노이저(UNet 또는 transformer)를 컴파일합니다.
모델 데이터 유형
모델 가중치의 정밀도와 데이터 타입은 추론 속도에 영향을 미칩니다. 정밀도가 높을수록 가중치를 로드하는 데 더 많은 메모리가 필요하고, 연산을 수행하는 데 더 많은 시간이 소요되기 때문입니다. dtype을 생략하면 Diffusers는 모델 가중치를 float32로 로드하므로, 데이터 타입을 변경하는 것은 추론 속도를 빠르게 하는 간단한 방법입니다.
bfloat16은 float16과 유사하지만 수치 오류에 대해 더 강건합니다. bfloat16에 대한 하드웨어 지원은 환경에 따라 다르지만, 대부분의 최신 GPU는 bfloat16을 지원합니다.
import torch
from diffusers import StableDiffusionXLPipeline
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.bfloat16
).to("cuda") # or "mps", "xpu", "cpu"
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]float16은 bfloat16와 유사하지만 수치 오류가 발생할 가능성이 더 높을 수 있습니다.
import torch
from diffusers import StableDiffusionXLPipeline
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]TensorFloat-32 (tf32) 모드는 NVIDIA Ampere 및 이후 GPU에서 지원되며, 컨볼루션 및 행렬 곱셈 연산을 tf32로 수행합니다. 저장 및 기타 연산은 float32로 유지됩니다. float32로 실행되는 연산의 속도를 높여 주므로, 파이프라인 전체 또는 일부가 float32로 유지될 때 가장 큰 도움이 됩니다.
PyTorch는 기본적으로 합성곱(convolution)에 대해서만 tf32 모드를 활성화하며, 행렬 곱셈에 대해서는 명시적으로 활성화해야 합니다.
import torch
from diffusers import StableDiffusionXLPipeline
torch.backends.cuda.matmul.allow_tf32 = True
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float32
).to("cuda") # or "mps", "xpu", "cpu"
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]자세한 내용은 혼합 정밀도 학습 문서를 참조하세요.
스케일된 도트 프로덕트 어텐션
Scaled dot product attention (SDPA)는 PyTorch 2.0 이상에서 AttnProcessor2_0 또는 attention dispatcher의 native 백엔드를 통해 기본 attention으로 사용됩니다. PyTorch는 하드웨어에 맞는 SDPA 커널을 선택합니다. FlashAttention, SageAttention, xFormers, Hub 커널 및 기타 백엔드에 대해서는 Attention backends를 참고하세요.
torch.compile
torch.compile은 PyTorch 코드와 연산을 최적화된 커널로 컴파일하여 추론을 가속화합니다. 일반적으로 런타임에 지배적인 역할을 하는 디노이저, 즉 pipeline.unet 또는 pipeline.transformer를 컴파일하며, 경우에 따라 VAE도 함께 컴파일합니다.
최대 속도를 위해 다음 컴파일러 설정을 활성화하세요(추가 옵션은 전체 목록을 참조하세요).
import torch
from diffusers import StableDiffusionXLPipeline
torch._inductor.config.conv_1x1_as_mm = True
torch._inductor.config.coordinate_descent_tuning = True
torch._inductor.config.epilogue_fusion = False
torch._inductor.config.coordinate_descent_check_all_directions = TrueDenoiser와 VAE를 로드하고 컴파일합니다. Stable Diffusion XL과 같은 UNet 파이프라인에는 pipeline.unet를, Flux 및 DiT 스타일 파이프라인에는 pipeline.transformer를 사용합니다. 선택할 수 있는 여러 가지 모드가 있지만, "max-autotune"는 가장 빠른 커널을 검색하고 CUDA graphs를 사용합니다. CUDA graphs는 단일 CPU 연산을 통해 여러 GPU 연산을 실행함으로써 오버헤드를 줄입니다.
메모리 레이아웃을 channels_last로 변경하면 UNet, VAE와 같은 컨볼루션 중심 모델의 속도도 향상될 수 있습니다. 일부 모델은 오히려 느려질 수 있으므로 먼저 벤치마크를 실행해 보세요.
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.unet.to(memory_format=torch.channels_last)
pipeline.unet = torch.compile(
pipeline.unet, mode="max-autotune", fullgraph=True
)
pipeline.vae.to(memory_format=torch.channels_last)
pipeline.vae.decode = torch.compile(
pipeline.vae.decode,
mode="max-autotune",
fullgraph=True
)
prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
pipeline(prompt, num_inference_steps=30).images[0]최초 컴파일은 특히 "max-autotune"를 사용할 경우 느릴 수 있습니다. 컴파일러가 커널을 검색하기 때문이며, 이후에는 동일한 컴파일된 파이프라인 객체를 계속 사용합니다(캐싱 동작을 구성하는 방법은 Compile Time Caching 및 Caching Configuration을 참조하세요). 다른 이미지 크기로 컴파일된 파이프라인을 호출하면 다시 컴파일이 트리거됩니다.
동적 형상 컴파일
torch.compile은 입력 형상과 조건을 추적하며, 이들이 다르면 모델을 다시 컴파일합니다. 예를 들어, 1024x1024 해상도의 이미지로 컴파일된 모델이 다른 해상도의 이미지에 사용되면 재컴파일이 트리거됩니다.
재컴파일링을 피하려면 dynamic=True를 추가하여 조건이 변경될 때 재컴파일링을 피할 수 있는 더 동적인 커널을 생성하도록 시도해 보세요.
+ torch.fx.experimental._config.use_duck_shape = False
+ pipeline.unet = torch.compile(
pipeline.unet, fullgraph=True, dynamic=True
)use_duck_shape=False를 지정하면 컴파일러가 동일한 크기의 입력을 동일한 기호 변수로 표현할지 여부를 결정합니다. 자세한 내용은 이 댓글을 확인하세요.
모든 모델이 기본적으로 동적 컴파일의 이점을 누릴 수 있는 것은 아니며, 일부 모델은 변경이 필요할 수 있습니다. AuraFlowPipeline 구현을 개선하여 동적 컴파일의 이점을 누릴 수 있도록 한 이 PR을 참고하세요.
Diffusers 모델에서 동적 컴파일이 예상대로 작동하지 않는 경우, 자유롭게 이슈를 열어 주세요.
지역별 컴파일
Regional compilation은 모델의 작고 반복적으로 나타나는 블록, 일반적으로 transformer layer만 컴파일하여 콜드 스타트 지연을 줄이고, 이후 모든 발생 위치에서 컴파일된 산출물을 재사용할 수 있게 합니다. 많은 diffusion 아키텍처의 경우, 이는 전체 그래프 컴파일과 동등한 런타임 속도 향상을 제공하며 컴파일 시간을 최대 8~10배까지 단축할 수 있습니다.
denoiser에 torch.compile을 래핑하는 헬퍼인 compile_repeated_blocks() 메서드를 사용합니다. 파이프라인에 따라 pipeline.unet 또는 pipeline.transformer에 대해 호출합니다.
import torch
from diffusers import StableDiffusionXLPipeline
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
dtype=torch.float16,
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.unet.compile_repeated_blocks(fullgraph=True)새 모델에 대해 지역 컴파일(regional compilation)을 활성화하려면 _repeated_blocks을 반복 블록의 클래스 이름(문자열)으로 설정합니다. SDXL의 UNet의 경우 BasicTransformerBlock을 사용합니다. Transformer 디노이저(denoiser)도 동일한 방식으로 자체 반복 블록 클래스 이름을 나열합니다.
_repeated_blocks = ["BasicTransformerBlock"]Accelerate에는 모델에서 컴파일할 후보 블록을 자동으로 선택하는 compile_regions 메서드도 있습니다. 나머지 그래프는 별도로 컴파일됩니다. 컴파일할 블록을 지정하거나 컴파일 플래그를 조정할 수 있는 옵션이 많지 않으므로, 빠른 실험에 유용합니다.
pip install -U accelerate
import torch
from diffusers import StableDiffusionXLPipeline
from accelerate.utils import compile_regions
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.unet = compile_regions(pipeline.unet, mode="reduce-overhead", fullgraph=True)compile_repeated_blocks()는 의도적으로 명시적으로 설계되었습니다. _repeated_blocks에 반복할 블록을 나열하면 헬퍼는 해당 블록만 컴파일합니다. 이는 한 줄의 코드로 캐시 재사용에 대한 예측 가능한 동작과 쉬운 추론을 제공합니다.
그래프 브레이크
fullgraph=True를 설정하면 torch.compile이 그래프 분할을 조용히 수행하여 속도 향상이 감소하는 대신, 그래프 브레이크 발생 시 오류를 발생시킵니다.
GPU 동기화
각 denoiser 예측 후, 파이프라인은 sigmas를 인덱싱하는 스케줄러의 step 메서드를 호출합니다. sigmas를 GPU에 유지하면 모든 단계에서 CPU↔GPU 동기화가 강제될 수 있습니다. 이 비용은 denoiser가 컴파일되기 전까지는 쉽게 간과할 수 있습니다. sigmas를 CPU에 유지하는 것이 좋습니다(Euler와 같은 Diffusers 스케줄러는 이미 이렇게 처리합니다).
벤치마크
컴파일된 파이프라인의 추론 지연 시간 및 메모리 사용량 데이터를 확인하려면 diffusers/benchmarks 데이터셋을 참조하세요.
diffusers-torchao 저장소에는 Flux와 CogVideoX의 컴파일된 버전 벤치마킹 결과도 포함되어 있습니다.
커널
Kernels는 Hub에서 최적화된 compute kernel을 빌드, 배포 및 로드하기 위한 라이브러리입니다. RMSNorm, GEGLU, RoPE, AdaLN과 같은 연산을 위한 attention kernel 및 사용자 정의 CUDA kernel을 지원합니다.
The Diffusers Pipeline Integration guide shows how to integrate a kernel with the add cuda-kernels skill. This skill enables an agent, like Claude or Codex, to write custom kernels targeted towards a specific model and your hardware. The Custom kernels for all from Codex and Claude post has more detail.
예를 들어, add cuda-kernels 스킬로 생성된 커스텀 RMSNorm 커널에 torch.compile을 적용하면 H100에서 LTX-Video 생성 속도가 1.43배 빨라집니다.
동적 양자화
동적 int8 활성화 양자화는 torchao에서 사용할 수 있습니다. TorchAoConfig를 Int8DynamicActivationInt8WeightConfig와 같은 설정과 함께 사용하거나, torchao의 quantize_ API를 사용하세요. 이전의 apply_dynamic_quant 헬퍼는 사용하지 마세요.
Fused projection matrices
~DiffusionPipeline.fuse_qkv_projections는 실험적입니다.
Q, K, V 투영 행렬로 표현되는 세 개의 부분 공간으로 입력이 투영되는 attention 블록에서, 이러한 투영은 일반적으로 개별적으로 계산됩니다. 하지만 이를 가로로 결합하여 단일 행렬로 만들고, 한 단계에서 투영을 수행할 수 있습니다. 이렇게 하면 입력 투영의 행렬 곱셈 크기가 증가하고, 양자화의 효과도 향상됩니다.
pipeline.fuse_qkv_projections()
다음 단계
Presenting Flux Fast: Making Flux go brrr on H100s 블로그 포스트를 읽어 flux-fast의 레시피를 사용하여 TorchInductor와 AOTInductor와 이 모든 최적화를 결합하여 약 2.5배의 속도 향상을 달성하는 방법에 대해 자세히 알아보세요.
이 레시피는 AMD 하드웨어와 Flux.1 Kontext Dev를 지원합니다.
Refer to the torch.compile and Diffusers: A Hands-On Guide to Peak Performance blog post for maximizing performance with
torch.compilefor diffusion models.