KV Cache Engineering for LLM Serving

Bài viết đề cập đến thách thức quản lý KV cache khi triển khai mô hình ngôn ngữ lớn (LLM) trong môi trường sản xuất, nơi bộ nhớ cache này tăng tuyến tính theo độ dài chuỗi và kích thước batch. Nguyên nhân kỹ thuật là mỗi lớp transformer cần lưu trữ vector key và value cho mọi token đã xử lý, khiến kích thước cache tỷ lệ với hidden size × số lớp × độ dài chuỗi × batch size, dễ dẫn đến vượt quá bộ nhớ GPU. Hệ quả của việc không kiểm soát được là giảm khả năng xử lý song song, tăng độ trễ và nguy cơ lỗi out‑of‑memory khi mở rộng dịch vụ. Tác giả trình bày 12 kỹ thuật cụ thể để giảm thiểu vấn đề này, bao gồm các phương pháp nén, phân trang, offload và điều chỉnh động bộ nhớ. Từ những giải pháp này, người đọc có thể học cách cân bằng giữa độ chính xác và hiệu suất để đưa LLM vào production một cách ổn định và tiết kiệm tài nguyên.