Your Switchback Power Calculation Is Probably Wrong

Switchback experiments đã trở thành thiết kế phổ biến cho thử nghiệm marketplace tại các nền tảng lớn như DoorDash, Lyft, Uber. Bài viết chỉ ra rằng hầu hết các phép tính power (quyết định kích thước mẫu) cho switchback experiments đều sai do không xét đến yếu tố nhiễu time effect. Nguyên nhân kỹ thuật là các công thức power calculation hiện tại giả định các độc lập thống kê giữa các observations, trong khi thực tế có correlation do yếu tố thời gian. Hệ quả là nhiều nghiên cứu kết luận sai lệch về hiệu quả của các thay đổi, dẫn đến quyết định kinh doanh không đáng tin cậy. Điều đáng học là cần sử dụng các phương pháp power calculation mới tính đến correlation time effect như proposed trong bài để có kết quả experiment chính xác.