Does Context Length Affect Inference Cost Linearly? We Measured Why It Doesn't

What Happens Inside an AI Chatbot Between Enter and the First Word?

Khi người dùng nhấn Enter, tin nhắn được chuyển thành chuỗi token qua bộ tokenizer và được đưa vào mô hình transformer của chatbot. Trong mỗi lớp transformer, các token trải qua lớp attention tự‑hợp để thu thập ngữ cảnh và lớp feed‑forward để biến đổi biểu diễn, quá trình này lặp lại qua hàng chục đến hàng trăm lớp tùy thuộc vào kích thước mô hình (ví dụ 7B hoặc 70B tham số). Sau khi hoàn thành các lớp, vector ẩn cuối cùng được chiếu vào ma trận logits để xác suất của mỗi từ trong từ vựng được tính, sau đó một chiến lược lấy mẫu như top‑k hoặc nucleus sampling chọn token đầu tiên để xuất ra. Thời gian trễ giữa Enter và từ đầu tiên chủ yếu phụ thuộc vào thời gian tính toán attention (bậc hai theo độ dài chuỗi) và băng thông bộ nhớ khi truy cập trọng số và KV cache, vì vậy các mô hình lớn thường gặp độ trễ đáng kể trên phần cứng không tối ưu. Từ đây, lập trình viên có thể học cách giảm latency bằng cách lượng tử hóa mô hình, sử dụng KV cache hiệu quả, hoặc chọn kiến trúc mô hình cân bằng giữa chất lượng và tốc độ xử lý.