Đang tải bảng tin…
PyTorch0 Hot0 bình luận25 phút đọc
Towards Free Normalization: Fusing Normalization into GEMM and Attention Kernels – PyTorch
Novel GPU kernel fusion techniques are presented for LayerNorm and RMSNorm operations, which typically consume 10-20% of training latency in LLMs and recommendation models. Three main contributions are covered: (1) naive epilogue fusion for small N dimensions yielding 17-32% latency savings; (2) Lazy Pre-Norm, a prologue fusion technique that exploits the commutativity of row-wise multiplication to delay RMSNorm's elementwise step until after the GEMM k-loop, hiding most norm computation behind TensorCore ops; (3) Multi-CTA Norm Fusion using CTA clusters and Distributed Shared Memory to collaboratively compute reductions across CTAs, enabling epilogue fusion for larger N. A 'fusion regrouping' trick ensures backward passes also achieve epilogue fusion by fusing norms with different linear layers than in forward. Finally, FlashNormAttention fuses both a pre-LayerNorm and post-RMSNorm into a GDPA attention kernel, achieving up to 35% kernel speedup, with detailed optimizations for memory pressure (SMEM/TMEM reuse, register subtiling) and pipeline stalls (warp specialization, register pre-loading). Benchmarks are on NVIDIA B200 GPUs using bfloat16.
Nguồn: https://pytorch.org/blog/towards-free-normalization-fusing-normalization-into-gemm-and-attention-kernels. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Hugging Face1 Hot20 phútAI
Profiling in PyTorch (Part 3): Attention is all you profile
Bài viết thứ 3 trong loạt bài phân tích hiệu suất PyTorch tập trung vào cơ chế attention, so sánh chi tiết 4 backend SDPA (math, efficient/xformers-CUTLASS, FlashAttention-2, cuDNN). FlashAttention-2 đạt hiệu suất GPU tốt nhất nhờ sử dụng tối ưu thanh ghi và bộ nhớ chia sẻ, trong khi backend math chậm nhất do overhead ép kiểu FP32 và softmax an toàn.
Lập trình viên cần đọc bài này để hiểu cách tối ưu hóa chi tiết các cơ chế chú ý trong PyTorch, từ những lỗi nhỏ như memcpy không mong đợi đến sự khác biệt đáng kể giữa các backend khác nhau (như SDPA), giúp tiết kiệm thời gian và nguồn lực GPU hiệu quả.
