How Box is unlocking multimodal enterprise agents with Gemini Embeddings 2

Ten Is Not a Hundred

Nghiên cứu đánh giá năm phương pháp phát hiện ảo giác (Ragas-style LLM judge, embedding similarity, entailment model, LettuceDetect, MiniCheck) trên tập dữ liệu RAG bị thay đổi số đơn lẻ, cho thấy hầu hết chỉ đạt hiệu suất ngẫu nhiên (AUROC 0,51–0,59), ngoại trừ MiniCheck (0,75). Các detector dựa trên embedding thường bỏ qua sai sót số do bỏ qua độ lớn, trong khi LLM judge chỉ đánh giá tính hợp lý. Thư viện open-source groundlens được giới thiệu để phát hiện lỗi thay thế số bằng so khớp token thay vì vector.

Là lập trình viên phát triển hệ thống xử lý dữ liệu hoặc chatbot, bạn nên đọc bài này để hiểu cách các mô hình AI hiện nay thường mắc phải khi xử lý sai sót số liệu nhỏ—như thay đổi một chữ số—và tìm hiểu cách cải thiện hiệu quả phát hiện lỗi bằng phương pháp token-level thay vì dựa vào vector hóa hoặc khả năng tương đồng văn bản.