Loading feed…
vLLM0 Hot0 comments9 min read
vLLM Reaches 25K Total TPS/GPU on Qwen3.5
AI summary
vLLM đạt tốc độ 25.000 TPS/GPU (tokens per second) trên mô hình Qwen3.5-397B-A17B-NVFP4 nhờ kiến trúc disaggregated serving trên hệ thống GB200 NVL72, kết hợp với nhân Blackwell GDN, cơ chế HMA cache transfer và lập lịch bất đồng bộ.
Why read it: Lập trình viên phát triển hệ thống AI cần hiểu về cách vLLM tối ưu hóa hiệu suất với các kernel Blackwell và cache HMA để áp dụng vào các giải pháp serving hiệu quả hơn trên các thiết bị GPU hiện đại.
What do you remember?
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
up to +17 points
3 questions · under a minute · optional
Source: https://vllm.ai/blog/2026-08-06-qwen35-25k-tps. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
