#ab-testing

Running production experiments with AWS AppConfig experimentation

A detailed walkthrough of AWS AppConfig experimentation, which layers A/B testing on top of AWS AppConfig feature flags to let teams test changes against real production traffic without standing up a separate experimentation platform. Two full examples are built: a frontend test of a redesigned 'Add to cart' button (via console) and a backend cache TTL comparison in an Amazon ECS service (via CLI and Java/Spring Boot). The post covers architecture (control plane, delivery via the AppConfig Agent, measurement, and safety), capturing treatment assignment logs through CloudWatch Logs and Data Firehose into S3, setting up CloudWatch alarm guardrails, gradual exposure ramping, analyzing results with post-exposure attribution using Athena SQL queries, promoting a winning treatment without a gap in service, and cost/cleanup considerations for experiment-run billing.

Usability testing: A practitioner's guide to running it right

Bối cảnh: Usability testing là phương pháp quan trọng để đánh giá trải nghiệm người dùng trên sản phẩm số. Nguyên nhân kỹ thuật: Bài viết cung cấp task scripts thực tế, hệ thống SUS scoring (System Usability Scale) và công thức tính mẫu số sample-size math từ các dự án triển khai thực tế. Hệ quả: Người đọc có thể triển khai thành công quy trình testing toàn diện từ giai đoạn planning đến analysis. Điều đáng học: Các phương pháp luận được trình bày chi tiết với ví dụ thực tế giúp team tăng tính khách quan khi đánh giá sản phẩm, tránh các quyết định dựa trên cảm tính.

Bài hướng dẫn thực tế này giúp bạn triển khai kiểm tra khả dụng chính xác với các kịch bản công việc thật, điểm số SUS và toán mẫu từ các dự án thực tế.

Why Good Product Ideas Don’t Survive

Trong quá trình phát triển sản phẩm, chỉ 10% ý tưởng tạo ra 90% kết quả, nhưng quy trình development hiện tại đang vô tình loại bỏ những ý tưởng giá trị này. Nguyên nhân kỹ thuật là do việc áp dụng một framework phức tạp như Agile với các câu chuyện user story và technical debt làm nhiễu loạn khả năng đánh giá chất lượng ý tưởng. Hệ quả là những ideas tiềm năng bị loại bỏ sớm do thiếu hệ đo lường hiệu quả (metrics) phù hợp và áp lực deadline. Bài viết đáng học ở chỗ đề xuất phương pháp Lean experimentation với các MVP nhỏ hơn để bảo vệ những rare good ideas và tăng tỷ lệ thành công thực sự.

Bài này giúp lập trình viên hiểu tại sao quy trình phát triển đang giết chết những ý tưởng sản phẩm tốt nhất.

Optimize Identity Flows with Auth0 Identity Conversion Suite

Auth0 Identity Conversion Suite giúp giảm thiểu sự cố rào cản trong identity flow và tối ưu hóa tỷ lệ chuyển đổi. Công cụ này cung cấp tính năng A/B test để đo lường và mở rộng quy mô các identity flows. Giải pháp này cho phép doanh nghiệp thử nghiệm các thiết kế đăng nhập khác nhau để xác định phương án hiệu quả nhất. Bằng cách đo lường và phân tích dữ liệu từ các phiên bản khác nhau, doanh nghiệp có thể tối ưu hóa trải nghiệm người dùng. Auth0 Identity Conversion Suite cung cấp các metric cụ thể như drop-off rate và conversion rate để đánh giá hiệu quả của các identity flows.

Bài viết giúp bạn tối ưu luồng xác thực và tăng tỷ lệ chuyển đổi bằng Auth0 Identity Conversion Suite.

Your AI Adoption Lift Is a Selection Effect

Các công ty thường triển khai AI cho những người dùng sẵn sàng tham gia, tạo ra hiệu ứng chọn lọc khiến khó đánh giá tác thực sự. Bài viết đề xuất phương pháp dùng propensity score matching để so sánh người dùng chọn AI với người dùng tương tự nhưng không chọn, dựa trên dữ liệu từ Slack và Zoom. Kết quả cho thấy tính năng AI chỉ tăng 15% năng suất thay vì 40% như các ước lượng đơn giản trước đây. Lập trình viên nên học cách áp dụng kỹ thuật thống kê này để tránh đánh giá quá cao hiệu quả AI trong hệ thống thực tế.

Bài viết giúp lập trình viên ước tính hiệu quả thực tế của tính năng AI khi không có thử nghiệm ngẫu nhiên.

Your Switchback Power Calculation Is Probably Wrong

Switchback experiments đã trở thành thiết kế phổ biến cho thử nghiệm marketplace tại các nền tảng lớn như DoorDash, Lyft, Uber. Bài viết chỉ ra rằng hầu hết các phép tính power (quyết định kích thước mẫu) cho switchback experiments đều sai do không xét đến yếu tố nhiễu time effect. Nguyên nhân kỹ thuật là các công thức power calculation hiện tại giả định các độc lập thống kê giữa các observations, trong khi thực tế có correlation do yếu tố thời gian. Hệ quả là nhiều nghiên cứu kết luận sai lệch về hiệu quả của các thay đổi, dẫn đến quyết định kinh doanh không đáng tin cậy. Điều đáng học là cần sử dụng các phương pháp power calculation mới tính đến correlation time effect như proposed trong bài để có kết quả experiment chính xác.

Bài viết này giúp lập trình viên hiểu và sửa lỗi sai trong tính toán công suất cho thí nghiệm Switchback, một phương pháp thiết kế phổ biến trong các nền tảng thị trường kỹ thuật số.

Building A UX ROI Case That Survives The Boardroom — Smashing Magazine

Strong UX ideas do not secure investment on their own. Through a worked example, Alex Williams breaks down how to define business value, calculate costs, test causality, and build a credible case for the return on a design initiative. - UX - Design - Business

The 95% Illusion: Why Your Confidence Interval Isn't What You Think It Is

Frequentist confidence intervals and Bayesian credible intervals answer different questions, and confusing them can distort product decisions

How we built Datadog Experiments

Datadog Experiments được xây dựng để rút ngắn thời gian từ kết quả đến quyết định bằng cách áp dụng CUPED trên phân vị, kết quả warehouse có thể kiểm chứng và metrics RUM gần thời gian thực. Công nghệ này sử dụng CUPED (Controlled-Experiment Using Pre-Experiment Data) để giảm biến thể trong đo lường, giúp tăng độ chính xác của các thử nghiệm A/B. Hệ quả là giảm thời gian cần thiết để đạt được kết quả có ý nghĩa thống kê, từ đó đẩy nhanh quá trình ra quyết định dựa trên dữ liệu. Điều đáng học hỏi là cách kết hợp giữa xử lý batch trong warehouse và stream processing trong RUM để tạo ra hệ thống đo lường toàn diện mà vẫn duy trì hiệu năng cao.

Đọc bài này giúp lập trình viên học cách xây dựng hệ thống thử nghiệm hiệu quả với CUPED trên phần trăm và giám sát thời gian thực.

Coordinate product launches with Datadog

Learn how to turn a product brief and feature flag into a connected launch workflow for instrumentation, experimentation, QA, and reporting.

Why Spotify Is Not Using Bayesian A/B Testing

Over the last few years there has been great interest in Bayesian inference for A/B testing, and many commercial experimentation platforms now offer Bayesian A/B testing.  , , , , , , , and , all ship a Bayesian mode. The main argument is that it is modern, flexible and easier to interpret compared to frequentist statistics. In addition, it is often claimed that many of the frequentist complexities like multiple testing and sequential testing fall out naturally in the Bayesian way of thinking. In this blog post, we argue that there is a theme of oversimplification that frequently leads to bad inference practice that is no better than peeking in frequentist statistics. In statistics, details matter.

Optimal Traffic Allocation Under Heterogeneous Variant Cost

Khi triển khai A/B testing với treatment và control có chi phí khác nhau, việc chia traffic 50/50 như mặc định không tối ưu. Phương pháp cost-based sampling weights cho phép phân bổ traffic cân bằng về mặt thống kê nhưng có thể điều chỉnh dựa trên chi phí thực tế. Việc này giúp giảm chi phí tổng thể lên đến 37% khi treatment đắt hơn trong nghiên cứu của Facebook. Lập trình viên nên cân nhắc áp dụng phương pháp sampling weights để tối ưu hóa ngân sách testing trong các hệ thống current search ranking.

Bài viết này giúp lập trình viên tối ưu phân bổ ngân sách kiểm thử khi các biến thể có chi phí khác nhau.

Scaling Reliable Experimentation in a Two-Sided AdTech Marketplace: ZMS Budget Split

Trong thị trường AdTech hai phía, việc thực hiện song song nhiều experiment thường gây hiện tượng budget cannibalization khi các experiment cùng nhắm vào nhóm khách hàng giống nhau. ZMS Budget Split giải quyết vấn đề này bằng cách chia ngang ngang budget cho từng experiment, kết hợp với Orthogonal Concurrency để đảm bảo các experiment độc lập. Giải pháp này giúp giảm 95% hiện tượng bias do budget cannibalization, cho phép chạy đồng thời đến 20 experiment mà không ảnh hưởng lẫn nhau. Lập trình viên nên đọc bài gốc để hiểu chi tiết thuật toán chia budget và cách implement Orthogonal Concurrency trong hệ thống ZMS.

Bài viết này giải thích cách giảm thiểu hiện tượng đánh cắp ngân sách và thực hiện song song các thí nghiệm đáng tin cậy trong thị trường quảng cáo hai chiều.

Building May Be Cheap Now. Being Wrong Still Isn't.

Chi phí xây dựng phần mềm giảm mạnh nhờ AI nhưng chi phí của việc đưa ra quyết định sai vẫn không thay đổi.

Trong thời đại AI làm chi phí xây dựng phần mềm trở nên rẻ, bài viết giúp bạn hiểu tại sao việc đưa ra quyết định đúng đắn lại quan trọng hơn bao giờ hết.

Two ways to measure the cumulative impact of experiments

Khi chạy nhiều thí nghiệm A/B, cộng dồn từng thắng lợi cá nhân thường làm tăng lên tác động thực tế vì các hiệu ứng chồng lấn và tương tác giữa các thay đổi. Bài viết chỉ ra hai cách đo lường tác động tích lũy chính xác: sử dụng nhóm holdout (control group) riêng biệt và phương pháp Cumulative Impact của Datadog. Holdout hoạt động bằng cách giữ một phần người dùng không tham gia bất kỳ thí nghiệm nào, sau đó so sánh chỉ số tổng thể của nhóm này với nhóm đã áp dụng tất cả thay đổi. Cumulative Impact của Datadog tính toán tác động tổng thể bằng việc mô phỏng việc áp dụng tuần tự các thay đổi và điều chỉnh dựa trên độ phụ thuộc giữa chúng, thường được biểu thị bằng phần trăm tăng trưởng chỉ số KPI. Để chọn phương pháp, nếu bạn có thể dành một phần traffic làm holdout và muốn đo lường tác động thực tế trên sản phẩm, hãy dùng holdout; nếu không thể tách traffic hoặc cần xem tác động của từng thí nghiệm trong bối cảnh đã áp dụng các thí nghiệm trước, hãy chọn Cumulative Impact của Datadog.

Bài viết giúp lập trình viên hiểu phương pháp đo lường tác động thực sự của experiment thay vì tổng hợp các kết quả riêng lẻ.

A/B test models in production

Mô hình A/B test trong sản xuất cần kiểm tra bằng shadow traffic để đảm bảo hoạt động ổn định, nhưng không đánh giá được mức độ yêu thích của người dùng. Thay vì triển khai split trong code ứng dụng, nên thực hiện tại endpoint để tối ưu hiệu quả.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa các mô hình A/B test bằng cách áp dụng shadow traffic và split ở layer endpoint thay vì thay đổi trực tiếp trong ứng dụng, giúp giảm rủi ro và cải thiện hiệu quả thực thi trong sản phẩm.