State of the Union's Open Source AI: How American Open-Weights Models Compare Globally

The Untaught Lessons of RAG Retrieval: Cosine Is Not the Foundation

Các pipeline RAG phổ biến thường sử dụng cosine similarity trên các embedding, nhưng cách này bỏ qua cấu trúc tài liệu và không thể chứng minh sự vắng mặt thông tin. Bài viết đề xuất sáu bài học: truy xuất nên hoạt động như SQL (lọc trên bảng cấu trúc), từ khóa ưu tiên vì rẻ và có thể trả về kết quả trống, mục lục tài liệu là tín hiệu quan trọng bắt lỗi paraphrase. Embedding chỉ là phương án dự phòng khi từ vựng không khớp, không phải nền tảng. Co-occurrence vượt trội so với BM25 trên dữ liệu doanh nghiệp hẹp, và cần tách biệt anchor (khớp chính xác) với context (phạm vi xung quanh). Một lần chạy LLM trên mục lục có thể giải quyết paraphrase hiệu quả, tạo thành pipeline ba tín hiệu (từ khóa + TOC + embedding) với ưu điểm về chi phí và khả năng kiểm toán.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa hệ thống RAG bằng cách kết hợp các phương pháp truyền thống và tiên tiến—tránh sai lầm đơn giản như chỉ dùng cosine similarity mà bỏ qua cấu trúc văn bản và hiệu quả của các signal như từ khóa, TOC, và embeddings để cải thiện chất lượng và hiệu suất của hệ thống.