Can Cheap LLMs Write Correct Code? We Tested GPT-5.4 mini, Claude Haiku 4.5 and Gemini Flash 3

Chúng tôi đã thử nghiệm ba LLM tiết kiệm chi phí là GPT-5.4 mini, Claude Haiku 4.5 và Gemini Flash 3 với 992 bài toán Project Euler để đánh giá khả năng viết code chính xác. Kết quả cho thấy các mô hình này có tỷ lệ thành công khác nhau, từ 38% đến 51% tùy thuộc vào độ phức tạp của bài toán. Mặc dù gặp khó khăn với các bài toán đòi hỏi thuật toán phức tạp, các LLM này lại thể hiện tốt hơn trong việc xử lý bài toán cơ bản. Bài nghiên cứu cung cấp cái giá trị thực tiễn khi cân nhắc sử dụng các LLM nhỏ để hỗ trợ phát triển ứng dụng Java Spring Boot, giúp lập trình viên đánh giá được hiệu quả đầu tư so với chi phí sử dụng.