Engineering TTS Inference in vLLM-Omni

Đội kỹ thuật vLLM-Omni tối ưu hóa suy luận TTS cho bốn mô hình bằng cách tách rời kích thước chunk streaming khỏi cửa sổ decode, biên dịch toàn bộ mô hình bằng torch.compile, di chuyển trạng thái decode multi-codebook lên GPU, và sử dụng các kernel Triton tùy chỉnh. Kết quả đạt được cải thiện throughput 61,5% cho Qwen3-TTS, 172% cho VoxCPM2 và tăng tốc 2,7 lần cho Higgs Audio V3. Bài viết cũng đề cập những thiết kế bị loại bỏ như PIECEWISE CUDA Graph do không hiệu quả bằng eager plus local MLP graph.