Loading feed…
TechCentral0 Hot0 comments2 min read
TCS+ | How AI is turning hardware into a subscription service
Shane van der Merwe of Merchant West tells TechCentral's TCS+ podcast why companies are giving up owning their hardware.
Source: https://techcentral.co.za/tcs-how-ai-is-turning-hardware-into-a-subscription-service/284608. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Recommended for you
Hacker News1 Hot10 minAI
Goodhart’s Law Comes for Every Benchmark You Trust – Communications of the ACM
Các tiêu chuẩn đánh giá AI (benchmarks) thường bị phá vỡ bởi hai vấn đề: nhiễm dữ liệu huấn luyện (mô hình ghi nhớ câu hỏi từ bộ dữ liệu công khai) và thao túng bảng xếp hạng (các phòng thí nghiệm nộp phiên bản tối ưu hóa). Ví dụ, GSM1k giảm tới 13% độ chính xác khi đối mặt với bài toán mới, trong khi MMLU chứa ~6,5% câu hỏi lỗi. Giải pháp đề xuất gồm bộ kiểm tra riêng tư, phát hiện nhiễm dữ liệu và xây dựng tiêu chuẩn chuyên biệt từ dữ liệu riêng thay vì dựa vào bảng xếp hạng công khai.
Lập trình viên AI nên đọc bài này để hiểu cách các benchmark không còn phản ánh thực tế khả năng của mô hình mà trở thành công cụ cho các chiến thuật "trò chơi" để giành điểm cao, từ đó tránh rủi ro xây dựng hệ thống dựa trên dữ liệu giả mạo hoặc kết quả không đáng tin.
