Claude did best on a new benchmark for agents that build agents. It still passed fewer than a quarter of the tests.

Sierra vừa công bố Hyper-τ-bench, bộ benchmark mới để đánh giá khả năng của AI agents trong việc xây dựng các agents khác. Trong bài kiểm tra này, Claude đã đạt kết quả tốt nhất nhưng vẫn vượt qua dưới 25% số thử thách. Hyper-τ-bench là phiên bản nâng cấp từ τ-bench được Sierra phát hành năm 2024, tập trung đánh giá khả năng tự động hóa của AI agents. Kết quả cho thấy ngay cả các mô hình hàng đầu như Claude vẫn còn nhiều hạn chế trong tác vụ xây dựng agents tự động.