Negation in RAG, Measured: Most Rerankers Do Worse Than a Coin Flip

Nghiên cứu này đã kiểm tra hiệu suất của 13 model embedding local và reranker cùng với Gemma 4 khi xử lý negation trong tiếng Anh và tiếng Thổ Nhĩ Kỳ. Kết quả cho thấy hầu hết các reranker đều trả về tài liệu sai đứng đầu, thậm chí tệ hơn việc đoán ngẫu nhiên. Nguyên nhân kỹ thuật là do các model không hiểu được phủ định trong truy vấn, dẫn đến đánh giá sai sự liên quan của tài liệu. Điều đáng học là chi phí để sửa lỗi này là khá thấp nhưng đòi hỏi phải kiểm tra kỹ các model trước khi triển khai production.