GLM-5.3 vs. GPT-5.6 Sol on DeepSWE: Cost, Coding, and Routing

Chạy 904 lần rollout trên bộ dữ liệu DeepSWE để so sánh GLM‑5.3 và GPT‑5.6 Sol. Kết quả cho thấy Sol đạt pass@1 cao hơn GLM‑5.3 khoảng 3,7 điểm, nhưng GLM‑5.3 lại vượt qua pass@4 với chi phí chỉ bằng một nửa so với Sol. Khi áp dụng chiến lược cascade—chạy GLM‑5.3 trước rồi chỉ chuyển sang Sol khi cần—tỷ lệ pass@1 lên tới 85,9 %. Điều này cho thấy việc kết hợp mô hình rẻ hơn với mô hình mạnh hơn theo thứ tự ưu tiên có thể tối ưu hóa cả hiệu suất và chi phí trong các tác vụ sinh mã. Lập trình viên nên cân nhắc sử dụng mô hình cascade thay vì依赖单一的 lớn mô hình để đạt được cân bằng tốt giữa độ chính xác và tài nguyên.