Đang tải bảng tin…
The Next Web00 bình luận3 phút đọc
Arena, the AI leaderboard everyone uses, just became a 100 million dollar business
Arena, the crowdsourced AI model evaluation platform that originated as a UC Berkeley research project, has reached $100 million in annualized revenue just eight months after launching its paid AI Evaluations service. The platform, which lets users compare anonymous AI model responses side by side, has collected over 10 million evaluations. Revenue grew from $30M ARR in December to over $100M, though the CEO notes it is consumption-based rather than traditional SaaS recurring revenue. Arena has no direct crowdsourced competitor after Yupp shut down in March, and competes with human labeling companies like Scale AI and Mercor. Backed by $250M in total funding at a ~$2B valuation, Arena now ranks models across text, coding, vision, image generation, and agent workflows, and has become the de facto leaderboard cited by major AI labs including OpenAI, Anthropic, and Google.
Nguồn: https://thenextweb.com/news/arena-ai-leaderboard-100-million-revenue-evaluation. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Gusto Engineering16 phútAI
From Prompt to Classifier: A Production Case Study
Đội kỹ thuật của Gusto xây dựng bộ phân loại chuyển tiếp AI-sang-người cho hệ thống hỗ trợ khách hàng bằng cách bắt đầu với prompt LLM, sử dụng dữ liệu sản xuất để tạo dataset 3.500 lượt hội thoại, sau đó tinh chỉnh mô hình BERT nhẹ đạt 94% precision và 93% recall. Phương pháp LLM-đầu-tiên-sau-chuyên-biệt phù hợp cho quyết định ổn định, khối lượng lớn như phân loại intent, nhưng không hiệu quả với sinh văn bản mở hoặc quy tắc thay đổi.
Lập trình viên nên đọc bài này để hiểu cách chuyển từ việc sử dụng mô hình LLM trực tiếp sang xây dựng hệ thống chuyên biệt hiệu quả, đặc biệt là trong trường hợp phân loại quyết định cụ thể như phân luồng hỗ trợ khách hàng, giúp tối ưu hóa chi phí và tốc độ triển khai.
