Using Local Coding Agents

We Built a Routing Layer to Cut Our AI Costs. It Broke the Product.

Đội ngũ xây dựng một lớp định tuyến dựa trên bộ phân loại (classifier) để tiết kiệm chi phí suy luận AI bằng cách chuyển truy vấn đơn giản sang các mô hình rẻ hơn, tiết kiệm ~60% chi phí hàng tháng. Tuy nhiên, sau ba tháng, sự hài lòng của khách hàng giảm và tỷ lệ rời bỏ tăng do chất lượng dịch vụ sụt giảm, khiến chi phí gấp 4-5 lần khoản tiết kiệm. Nguyên nhân gốc rễ là bộ phân loại không thể phát hiện đáng tin cậy độ phức tạp truy vấn "đuôi dài" (long-tail), các mô hình rẻ hơn thất bại mạnh mẽ trong các trường hợp biên, và hệ thống giám sát hiện tại không theo dõi chất lượng theo từng tầng, che giấu sự suy giảm riêng lẻ. Bài viết giải thích cơ chế thất bại, phương pháp phát hiện (giám sát chất lượng theo tầng, lấy mẫu thừa đuôi dài, theo dõi độ tin cậy bộ phân loại), và đề xuất kiến trúc thay thế — hệ thống phân tầng theo độ không chắc chắn (uncertainty-routed cascades), nơi mọi truy vấn bắt đầu từ mô hình rẻ nhất và chỉ leo thang lên mô hình mạnh hơn khi độ tin cậy thấp.