Đang tải bảng tin…
vLLM0 Hot0 bình luận9 phút đọc
vLLM Reaches 25K Total TPS/GPU on Qwen3.5
Tóm tắt bởi AI
vLLM đạt tốc độ 25.000 TPS/GPU (tokens per second) trên mô hình Qwen3.5-397B-A17B-NVFP4 nhờ kiến trúc disaggregated serving trên hệ thống GB200 NVL72, kết hợp với nhân Blackwell GDN, cơ chế HMA cache transfer và lập lịch bất đồng bộ.
Vì sao nên đọc: Lập trình viên phát triển hệ thống AI cần hiểu về cách vLLM tối ưu hóa hiệu suất với các kernel Blackwell và cache HMA để áp dụng vào các giải pháp serving hiệu quả hơn trên các thiết bị GPU hiện đại.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://vllm.ai/blog/2026-08-06-qwen35-25k-tps. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
