Stop Begging LLMs for JSON: How Grammar-Constrained Decoding Works Under the Hood

Các hướng dẫn dựa trên prompt để buộc LLM trả về JSON thường失效 khi hệ thống chịu tải cao, vì mô hình có thể tạo ra các token không tuân thủ cấu trúc và dẫn đến chuỗi JSON không hợp lệ. Bài viết giải thích rằng nguyên nhân gốc rễ là thiếu cơ chế kiểm soát cú pháp trong quá trình giải mã, khiến xác suất sinh ra JSON lỗi tăng lên đáng kể khi throughput tăng. Để khắc phục, tác giả đề xuất sử dụng giải mã ràng buộc bởi ngữ pháp (grammar‑constrained decoding) dựa trên Máy trạng thái hữu hạn (FSM), который chỉ cho phép các token theo các quy tắc của grammar JSON tại mỗi bước. Khi áp dụng FSM, tỷ lệ sản xuất JSON hợp lệ đạt gần 100% ngay cả dưới tải trọng lớn, trong khi phương pháp prompt‑based thường còn lại khoảng 15‑20% lỗi. Bài học chính là: thay dựa vào hướng dẫn mô hình qua prompt, chúng ta nên tích hợp kiểm soát cú pháp trực tiếp vào quá trình giải mã để đảm bảo đầu ra có cấu trúc đáng tin cậy.