vLLM × HPC-Ops: High-Performance Attention and MoE Backends from Tencent Hunyuan

Tencent Hunyuan's HPC-Ops operator library has contributed two production-hardened kernels to vLLM's main branch as first-class backends. The Attention backend replaces fixed split-KV scheduling with a per-step load-balanced dynamic scheduler plus a fused RoPE+QK-Norm+KV-write prologue, achieving up to 2.95× speedup over static scheduling on mixed-length decode batches and 2.25× on average over FlashInfer and FlashAttention. The MoE backend fuses the entire MoE pipeline (routing, Gate-Up GEMM, activation/quantization, Down GEMM, top-k reduction) into a compact FP8 execution path using occupancy-first design and PDL-chained stages, delivering 1.59× speedup at TP8/EP1 and 1.21× at TP1/EP8 over Triton and CUTLASS. End-to-end on the Hy3 295B MoE model across 8× H20 GPUs, the combined backends cut TTFT by ~24% and TPOT by ~17% versus vLLM defaults. Both backends integrate via standard vLLM backend interfaces with no source modifications required, and are optimized for NVIDIA Hopper architecture (especially H20).

Nguồn: https://vllm.ai/blog/2026-07-06-vllm-hpc-ops. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

PromptLayer Blog1 Hot5 phút5 giờ trướcAI

Top 5 Chinese LLMs: The Models Powering China’s AI Surge in 2024–25

Năm mô hình ngôn ngữ lớn (LLM) hàng đầu của Trung Quốc nổi bật giai đoạn 2024–2026 gồm DeepSeek R1 (671B MoE, cấp phép MIT, mạnh về toán/lập trình), Alibaba Qwen-3 (235B MoE với chế độ hybrid/fast), Baidu ERNIE 4.5 & X1 (đa phương tiện và agentic), Huawei PanGu-Σ/5.0 (hơn nghìn tỷ tham số, phục vụ công nghiệp), và Zhipu GLM-4.5 (hơn 355B MoE, top 3 toàn cầu về benchmark). Chúng thể hiện ưu thế về hiệu quả MoE, khả năng agentic, mã nguồn mở và giá thành thấp hơn đáng kể so với các đối thủ phương Tây.

Nếu bạn là lập trình viên muốn tối ưu hóa hiệu suất phát triển, hiểu về các công nghệ tiên tiến trong AI và tìm kiếm giải pháp hiệu quả về chi phí cho dự án của mình, bài viết này sẽ cung cấp những kiến thức về các mô hình ngôn ngữ lớn của Trung Quốc đang định hình tương lai công nghệ.