Loading feed…
Hacker News1 Hot1 comments10 min read
Goodhart’s Law Comes for Every Benchmark You Trust – Communications of the ACM
AI summary
Các tiêu chuẩn đánh giá AI (benchmarks) thường bị phá vỡ bởi hai vấn đề: nhiễm dữ liệu huấn luyện (mô hình ghi nhớ câu hỏi từ bộ dữ liệu công khai) và thao túng bảng xếp hạng (các phòng thí nghiệm nộp phiên bản tối ưu hóa). Ví dụ, GSM1k giảm tới 13% độ chính xác khi đối mặt với bài toán mới, trong khi MMLU chứa ~6,5% câu hỏi lỗi. Giải pháp đề xuất gồm bộ kiểm tra riêng tư, phát hiện nhiễm dữ liệu và xây dựng tiêu chuẩn chuyên biệt từ dữ liệu riêng thay vì dựa vào bảng xếp hạng công khai.
Why read it: Lập trình viên AI nên đọc bài này để hiểu cách các benchmark không còn phản ánh thực tế khả năng của mô hình mà trở thành công cụ cho các chiến thuật "trò chơi" để giành điểm cao, từ đó tránh rủi ro xây dựng hệ thống dựa trên dữ liệu giả mạo hoặc kết quả không đáng tin.
What do you remember?
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
up to +17 points
3 questions · under a minute · optional
Source: https://cacm.acm.org/blogcacm/goodharts-law-comes-for-every-benchmark-you-trust. 8sync News only summarizes and links out; content copyright belongs to the authors and original sources.
