Agents on Rails: Stage 2. Can a model ship a feature?

Agents on Rails giới thiệu Stage 2, bộ benchmark tập trung khả năng của model trong việc triển khai real-world features, gần với cách thức làm việc thực tế của developer. Stage 2 đánh giá liệu một model có thể hoàn thành feature end-to-end hay không, điều mà các benchmark trước như GSM8K hay MATH không kiểm tra được. Các test case trong Stage 2 bao gồm các tác vụ phức tạp như xây dựng API, xử lý file CSV, và triển khai UI component. Điều đáng học là các model hiện tại như GPT-4 chỉ đạt 14% trên Stage 2, cho thấy khoảng cách lớn giữa khả lý thuyết và thực tế triển khai code.