Why Spotify Is Not Using Bayesian A/B Testing

When Can LLMs Replace Humans in A/B Tests?

Các dự đoán từ LLM có thể thay thế kết quả con người trong A/B tests, nhưng chỉ dựa trên giả định chứ không phải thiết kế sẵn. Khi áp dụng trên bộ dữ liệu Upworthy, việc hiệu chỉnh đầu ra LLM theo dữ liệu người thật đã khôi phục hiệu ứng điều trị, nhưng chỉ với phương pháp cụ thể. Những điều kiện giúp điều này hoạt động không thể xác minh cho các thử nghiệm mới và càng kém thuyết phục khi phương pháp mới khác xa các thử nghiệm trước. Lợi ích tiềm năng càng lớn thì độ tin cậy càng thấp.

Lập trình viên nên đọc bài này để hiểu cách các mô hình ngôn ngữ lớn (LLM) có thể thay thế phân tích A/B test truyền thống bằng cách dự đoán kết quả người dùng, nhưng chỉ khi áp dụng với các điều kiện cụ thể và giới hạn, giúp họ đánh giá rủi ro khi tự động hóa quá trình này trong dự án.

Product Experimentation at Scale: How Airbnb, Netflix, Lyft, and Uber run Causal Inference on LLM-Based AI Features

Các nền tảng như Airbnb, Netflix, Lyft và Uber đã triển khai suy luận nhân quả (causal inference) cho các tính năng AI dựa trên LLM (Large Language Model) trong thực tế, thay vì chỉ lý thuyết. Họ công bố các bài viết kỹ thuật chi tiết về cách đo lường tác động nhân quả của những tính năng này.

Những công ty hàng đầu như Airbnb và Netflix đã áp dụng causal inference để tối ưu hóa các mô hình LLM, nhưng nhiều lập trình viên vẫn chưa biết cách thực hiện điều này một cách thực tế và hiệu quả—vì bài viết này cung cấp các chiến lược cụ thể từ code đến phân tích, giúp bạn xây dựng hệ thống AI có thể đo lường và cải thiện hiệu quả thực tế.

Spotify finally lets parents exclude kids’ music from Wrapped and recommendations

Spotify đã bổ sung tính năng mới cho phép phụ huynh loại trừ nhạc của con khỏi Wrapped và playlist cá nhân hóa. Tính năng này được phát triển do phụ huynh phàn nàn về kết quả Wrapped bị chi phối bởi nhạc thiếu nhi. Giải pháp kỹ thuật sử dụng tính năng "Hide This Song" kết hợp với tùy chọn "Exclude from Daily Mix" để lọc nội dung. Đây là bài học về việc các platform cần cân bằng giữa trải nghiệm cá nhân hóa và kiểm soát gia đình.

Spotify cho phép phụ huynh loại bỏ nhạc của trẻ khỏi Wrapped và playlist cá nhân hóa.

On the Expectation-Maximization (EM) algorithm and regression models

Bài viết đưa ra bối cảnh rằng các mô hình hồi quy truyền thống thường giả định dữ liệu đầy đủ và gặp khó khăn khi có giá trị bị thiếu hoặc biến ẩn. Nguyên nhân kỹ thuật được nêu là việc áp dụng thuật toán Expectation‑Maximization (EM) như một khung tối ưu hóa lặp lại, trong đó bước E tính toán kỳ vọng của likelihood đầy đủ và bước M tối ưu hóa tham số dựa trên kỳ vọng đó. Hệ quả của việc này là các ước lượng tham số trở nên ổn định hơn trong presenza của dữ liệu không quan sát được, đồng thời cho phép mở rộng hồi quy sang các mô hình có biến ẩn như miesz hợp Gaussian hoặc mô hình yếu tố. Tuy nhiên, bài cũng chỉ ra rằng EM có thể hội tụ tới cực đại địa phương và phụ thuộc nghiêm trọng vào việc khởi tạo ban đầu. Điều đáng học là khi xử lý hồi quy với dữ liệu thiếu hoặc cấu trúc ẩn, nên cân nhắc sử dụng EM nhưng phải kiểm tra nhiều điểm khởi tạo và theo dõi tiêu chí hội tụ để tránh kết quả không tin cậy.

Bài viết này giúp bạn hiểu sâu về áp dụng thuật toán EM trong mô hình hồi quy qua lăng kính tối ưu hóa lặp.

Spotify’s is giving you the keys to its recommendation algorithm with US launch of ‘Taste Profile’

Spotify đang triển khai Taste Profile cho người dùng Premium tại thị trường Mỹ, cho phép người dùng hiểu cách nền tảng phân tích sở thích âm nhạc của họ. Công nghệ này sử dụng NLP (Natural Language Processing) để người dùng có thể điều chỉnh đề xuất bằng ngôn ngữ tự nhiên. Khoảng 30% người dùng thử nghiệm đã điều chỉnh profile nghe nhạc ít nhất một tuần một lần. Điều đáng học là Spotify đang tạo ra cơ chế minh bạch hóa thuật toán, biến người dùng từ đối tượng bị động thành người chủ động định hình trải nghiệm nghe nhạc cá nhân.

Bài viết này giúp bạn hiểu cách Spotify phân tích sở thích âm nhạc và tùy chỉnh trải nghiệm nghe theo ý muốn.

Why You Think Like a Bayesian but Were Taught Like a Frequentist

Bài viết giải thích tại sao tư duy thực tế của chúng ta hướng đến Bayesian statistics trong khi hệ thống giáo dục lại dạy Frequentist approach. Tác giả trình bày cách xác suất không có giá trị thực trên chocolate bar đến ứng dụng trong marketing mix model sử dụng PyMC. Bài viết chỉ ra sự khác biệt giữa hai phương pháp khi phải tính xác suất mà không có dữ liệu lịch sử, nhấn mạnh công thức Bayes theorem từ thế kỷ 18. Điều đáng học là cách suy nghĩ theo giúp chúng ta đưa ra quyết định tốt hơn trong điều kiện thiếu thông tin, được minh họa bằng ví dụ thực tế về xác định giá bán sản phẩm.

Bài này giúp bạn hiểu sự khác biệt tư duy Bayesian và Frequentist qua ví dụ thực tế từ đơn giản đến phức tạp.

Friedman test in R, or the nonparametric version of the repeated measures ANOVA

Introduction Data Friedman test Aim and hypotheses Assumptions In R With base R With the {rstatix} package Interpretations Post-hoc tests Pairwise Wilcoxon signed-rank tests Nemenyi test Conover test Combination of statistical results and plo...

The hottest new hangout for middle schoolers is NPR’s comment section?

When NPR staffers flagged strange comments under their podcasts on Spotify as bots, it took a Gen Z colleague to (immediately) figure out the mystery.