Evolving how LLMs are measured for Android: the next era of Android Bench

Google has updated Android Bench, its LLM leaderboard for Android development tasks, by adopting the Harbor framework as its new benchmarking standard. The upgrade enables more rigorous model evaluation and introduces new models to the leaderboard, including Claude Fable 5 (top score: 84.5), GPT 5.5 (80.2), and Claude Sonnet 5 (76.2). For open-weight models, GLM 5.2 leads with 72.2. The Harbor framework standardizes how benchmarks are run and shared, improving transparency. Additionally, Google is opening Android Bench to community contributions, allowing Android developers to submit tasks that reflect real-world development scenarios like Jetpack Compose migrations and wearable networking.

Nguồn: https://android-developers.googleblog.com/2026/07/android-bench-llm-measurement.html. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Ars Technica1 Hot2 phút11 giờ trướcAI

Hackers can use 9 of the most popular AI tools to assemble massive botnets

Các nhà nghiên cứu phát hiện lỗ hổng tấn công "HalluSquatting" dựa trên kỹ thuật prompt injection, lợi dụng khả năng "ảo giác" (hallucination) của các mô hình ngôn ngữ lớn (LLMs) trong trợ lý lập trình AI để lây nhiễm hàng loạt máy thông qua các gói giả mạo. Chín công cụ lập trình AI phổ biến, bao gồm Cursor, Gemini CLI, GitHub Copilot, đang bị khai thác để xây dựng botnet quy mô lớn.

Lập trình viên nên đọc bài này để hiểu cách bảo mật mã nguồn của mình chống lại những cuộc tấn công mới như HalluSquatting, có thể lây lan rộng rãi qua các công cụ AI hỗ trợ lập trình mà họ đang sử dụng hàng ngày.