Real-time voice AI low-latency techniques that work

Bài viết phân tích các kỹ thuật giảm latency trong pipeline voix AI gồm STT, LLM và TTS, dựa trên các benchmark thực tế trên GPU NVIDIA A100. Các tác giả cho thấy việc sử dụng mô hình Whisper nhỏ (tiny) kết hợp với VAD và streaming inference giảm thời gian STT xuống dưới 150ms cho câu thoại 5 giây. Đối với LLM, họ áp dụng quantization 4-bit và KV cache streaming trên TensorRT-LLM, đạt thời gian sinh token trung bình 250ms cho mỗi 10 token, tổng thời gian phản hồi dưới 400ms cho prompt 20 token. Phía TTS, mô hình FastPitch được tối ưu bằng TensorRT và chạy trên CUDA stream riêng, tạo ra âm thanh 22kHz trong khoảng 120ms cho câu 10 từ. Kết hợp ba giai đoạn, cấu hình tối ưu cho latency end-to-end khoảng 800ms, đáp ứng yêu cầu sub-1s và cho thấy việc tối ưu từng thành phần riêng lẻ là chìa khóa để đạt được phản hồi thời gian thực trong ứng dụng voice AI.