Optimal Traffic Allocation Under Heterogeneous Variant Cost

Khi triển khai A/B testing với treatment và control có chi phí khác nhau, việc chia traffic 50/50 như mặc định không tối ưu. Phương pháp cost-based sampling weights cho phép phân bổ traffic cân bằng về mặt thống kê nhưng có thể điều chỉnh dựa trên chi phí thực tế. Việc này giúp giảm chi phí tổng thể lên đến 37% khi treatment đắt hơn trong nghiên cứu của Facebook. Lập trình viên nên cân nhắc áp dụng phương pháp sampling weights để tối ưu hóa ngân sách testing trong các hệ thống current search ranking.