give me 4 minutes, I’ll Give You 10,000 hours of Claude Ai knowledge

Agents on Rails: Stage 2. Can a model ship a feature?

Agents on Rails giới thiệu Stage 2, bộ benchmark tập trung khả năng của model trong việc triển khai real-world features, gần với cách thức làm việc thực tế của developer. Stage 2 đánh giá liệu một model có thể hoàn thành feature end-to-end hay không, điều mà các benchmark trước như GSM8K hay MATH không kiểm tra được. Các test case trong Stage 2 bao gồm các tác vụ phức tạp như xây dựng API, xử lý file CSV, và triển khai UI component. Điều đáng học là các model hiện tại như GPT-4 chỉ đạt 14% trên Stage 2, cho thấy khoảng cách lớn giữa khả lý thuyết và thực tế triển khai code.

Bài này giúp bạn đánh giá khả năng triển khai thực tế của AI model trong phát triển tính năng ứng dụng.