The Untaught Lessons of RAG Retrieval: Cosine Is Not the Foundation

Các pipeline RAG phổ biến thường sử dụng cosine similarity trên các embedding, nhưng cách này bỏ qua cấu trúc tài liệu và không thể chứng minh sự vắng mặt thông tin. Bài viết đề xuất sáu bài học: truy xuất nên hoạt động như SQL (lọc trên bảng cấu trúc), từ khóa ưu tiên vì rẻ và có thể trả về kết quả trống, mục lục tài liệu là tín hiệu quan trọng bắt lỗi paraphrase. Embedding chỉ là phương án dự phòng khi từ vựng không khớp, không phải nền tảng. Co-occurrence vượt trội so với BM25 trên dữ liệu doanh nghiệp hẹp, và cần tách biệt anchor (khớp chính xác) với context (phạm vi xung quanh). Một lần chạy LLM trên mục lục có thể giải quyết paraphrase hiệu quả, tạo thành pipeline ba tín hiệu (từ khóa + TOC + embedding) với ưu điểm về chi phí và khả năng kiểm toán.