Attacker stole a METR API key, used $600K worth of credits, and no one noticed for weeks

BenchMIRT: What are LLM benchmarks actually measuring?

Bối cảnh của nghiên cứu này đặt câu hỏi về độ tin cậy của các benchmark LLM hiện tại. Nguyên nhân kỹ thuật là nghiên cứu chỉ ra nhiều benchmark có điểm số tương đồng đáng kể (correlation coefficient up to 0.87), dẫn đến nghi ngờ chúng đang đo lường chung một yếu tố kỹ thuật nào đó thay vì đa dạng năng lực. Hệ quả là kết quả benchmark có thể không phản ánh đúng năng lực thực tế của model trên các tác vụ cụ thể. Điều đáng học là các nhà phát triển nên cẩn trọng khi chọn benchmark và hiểu giới hạn của từng test suite, đặc biệt khi có sự tương quan cao giữa điểm số của các benchmark khác nhau như MMLU, GSM8K, HumanEval.

Bài viết này giúp lập trình viên hiểu rõ các đánh giá LLM đang đo lường những gì thực sự.