Speculative Decoding: Lossless Acceleration by Guessing, Then Verifying

Control How Your GPU Shares Work with Green Contexts

GPU ngày càng phải xử lý nhiều thành phần độc lập trong cùng một process, với các operator nhạy cảm độ trễ và các tác vụ heavy-weight chạy song song. Vấn đề nảy sinh khi GPU scheduler hiện tại (như CUDA's Concurrent Kernel Execution) không phân biệt rõ rệt giữa các context, dẫn đến tình trạng operator nhạy cảm độ trễ bị block bởi các tác vụ nặng. Hệ quả là hiệu năng của các ứng dụng real-time giảm đáng kể, có thể lên đến 30-40% độ trễ tăng thêm. Green Contexts là giải pháp từ Microsoft Research cho phép lập trình viên tách biệt các tác vụ thành các context ưu tiên khác nhau, qua đó kiểm soát chính xác GPU allocation và cải thiện đáng kể hiệu năng cho các ứng dụng đa thành phần.

Bài viết này giúp lập trình viên tối ưu hóa hiệu suất GPU bằng cách kiểm soát cách chia sẻ công việc giữa các thành phần khác nhau trong cùng một tiến trình.