#statistics

When Can LLMs Replace Humans in A/B Tests?

Các dự đoán từ LLM có thể thay thế kết quả con người trong A/B tests, nhưng chỉ dựa trên giả định chứ không phải thiết kế sẵn. Khi áp dụng trên bộ dữ liệu Upworthy, việc hiệu chỉnh đầu ra LLM theo dữ liệu người thật đã khôi phục hiệu ứng điều trị, nhưng chỉ với phương pháp cụ thể. Những điều kiện giúp điều này hoạt động không thể xác minh cho các thử nghiệm mới và càng kém thuyết phục khi phương pháp mới khác xa các thử nghiệm trước. Lợi ích tiềm năng càng lớn thì độ tin cậy càng thấp.

Lập trình viên nên đọc bài này để hiểu cách các mô hình ngôn ngữ lớn (LLM) có thể thay thế phân tích A/B test truyền thống bằng cách dự đoán kết quả người dùng, nhưng chỉ khi áp dụng với các điều kiện cụ thể và giới hạn, giúp họ đánh giá rủi ro khi tự động hóa quá trình này trong dự án.

Round-robin (with Claude)

Cựu biên tập viên tạp chí Thống kê & Máy tính Gilles Celeux đề cập đến việc tác giả ngừng đăng những câu đố toán học hàng tuần trên Le Monde, nhưng nhấn mạnh sự xuất hiện của các dự án mới như "Round-robin (with Claude)".

Là người phát triển cần hiểu về Round-robin để tối ưu hóa phân phối công việc, xử lý load balancing trong hệ thống phân tán, hoặc giải quyết vấn đề đồng bộ hóa hiệu quả trong các ứng dụng đa nhiệm.

90 % of the t distribution

William Sealy Gosset (bút danh "Student") phát triển phân phối t nhằm điều chỉnh khoảng tin cậy khi cỡ mẫu nhỏ, khắc phục tình trạng khoảng tin cậy quá hẹp khi dùng phân phối chuẩn với độ lệch chuẩn mẫu. Bảng hiệu chỉnh thực tế đề xuất nhân độ lệch chuẩn với hệ số 4× (2 mẫu), 2× (3 mẫu), 1.5× (4 mẫu), 1.3× (5 mẫu), 1.2× (6–8 mẫu), 1.1× (9–20 mẫu), rồi nhân thêm 1.645 cho khoảng tin cậy 90%. Với trên 20 mẫu, ước tính thông thường là đủ. Ngoài ra, độ lệch chuẩn từ 2 giá trị xấp xỉ bằng 1.3 lần khoảng cách giữa chúng, giúp kiểm tra nhanh tính bất thường của kết quả.

Lập trình viên nên đọc bài này để hiểu cách tính chính xác khoảng tin cậy 90% khi xử lý dữ liệu nhỏ, tránh sai số khi ước tính sai độ lệch tiêu chuẩn từ mẫu nhỏ, giúp phân tích thống kê đáng tin cậy trong dự án.

The Entropy of a Markov Chain

Ví dụ minh họa chi tiết về entropy của một Markov chain.

Lập trình viên nên đọc bài này để hiểu rõ cách Markov Chain mô hình hóa các chuỗi dữ liệu phức tạp, giúp ứng dụng trong việc tối ưu hóa thuật toán dự đoán thời gian thực, xử lý ngôn ngữ tự nhiên hay thiết kế hệ thống phân tán hiệu quả hơn.

R GUI Comparison Update

Bài viết cập nhật so sánh các giao diện đồ họa (GUI) cho ngôn ngữ R, bao gồm jamovi, JASP, BlueSky Statistics (phiên bản miễn phí & Pro), Rattle, RKWard, R-Instat, R AnalyticFlow và R Commander. Mỗi lựa chọn đều có ưu điểm riêng, giúp người dùng dễ dàng chọn công cụ phù hợp.

Lập trình viên muốn tối ưu hóa thời gian phân tích dữ liệu và giảm thiểu sự phụ thuộc vào mã thủ công sẽ tìm hiểu R GUI Comparison Update để so sánh các công cụ GUI hiện đại, từ đó lựa chọn giải pháp phù hợp nhất với nhu cầu chuyên môn và hiệu suất làm việc.

Alexander Rakhlin named director of the MIT Statistics and Data Science Center

Alexander ‘Sasha’ Rakhlin, the Distinguished Professor in Data, Systems, and Society, IDSS and Brain and Cognitive Sciences at MIT, has been named the next director of the MIT Statistics and Data Science Center.

Spurious correlations 0.2 is on CRAN!

Phiên bản Spurious correlations 0.2 đã được đưa lên CRAN, bổ sung phản hồi từ sinh viên và giảng viên.

Lập trình viên nên đọc để khám phá cách spurious correlations—những tương quan giả dối—có thể trở thành thách thức trong phân tích dữ liệu thực tế, và cách mới trong R (thông qua CRAN) giúp phát hiện và tránh những sai lầm này trong dự án của họ.

The mean means nothing

Khi kiểm chứng cải tiến hiệu năng của trình biên dịch lld tại công việc, nhóm gặp tình trạng benchmark cải thiện rõ rệt nhưng lại không thể hiện trên bảng điều khiển sản xuất live-production.

Một lập trình viên nên đọc bài này để hiểu cách phân biệt giữa giá trị trung bình trong mô phỏng và thực tế—vì những cải thiện hiệu suất có thể bị che giấu khi chỉ dựa trên số liệu thống kê đơn giản mà không xem xét các trường hợp đặc biệt, phân phối dữ liệu thực tế, hoặc yếu tố môi trường sản phẩm.

June 2026 Top 40 New CRAN Packages

Tháng 6/2026, có 412 gói phần mềm mới được đăng lên CRAN, trong đó tác giả lựa chọn 40 gói nổi bật thuộc 19 lĩnh vực như Sinh học, Dữ liệu khí hậu, Tài chính, Machine Learning.

Những công cụ mới trên CRAN như thế này giúp lập trình viên mở rộng khả năng giải quyết vấn đề chuyên ngành—từ phân tích dữ liệu sinh học đến tài chính—với các thư viện hiện đại, hiệu quả và được cộng đồng kiểm chứng.

The Most Beautiful Statistic: The History and the Science of the Humble Mean

Bài viết khám phá sâu về arithmetic mean (trung bình cộng), từ nền tảng toán học, nguồn gốc lịch sử đến vai trò quan trọng trong thực tiễn. Nó đề cập đến mối liên hệ giữa mean với Weak Law of Large Numbers (Jakob Bernoulli), least squares estimation (tranh chấp ưu tiên giữa Legendre và Gauss), cũng như nhược điểm như không phản ánh hình dạng phân phối, nhạy cảm với ngoại lệ và nguy cơ của "fallacy of the average man" qua nghiên cứu nhân trắc học của Không quân Mỹ năm 1950.

Lập trình viên nên đọc bài này để hiểu rõ cách mean—một công cụ cơ bản nhưng mạnh mẽ—thực sự hoạt động như thế nào trong thống kê, từ lý thuyết đến ứng dụng trong mô hình AI, xử lý dữ liệu và phân tích dữ liệu thực tế, đồng thời nhận thức được những hạn chế của nó để xây dựng hệ thống thông minh và chính xác hơn.

Naive Bayes: A Probabilistic Classifier Built on Bayes’ Theorem

Naive Bayes là một bộ phân loại xác suất dựa trên Định lý Bayes, hoạt động hiệu quả nhờ giả định "ngây thơ" về tính độc lập giữa các đặc trưng. Thuật toán này đơn giản nhưng mạnh mẽ, thường được ứng dụng trong xử lý ngôn ngữ tự nhiên và phân loại văn bản.

Lập trình viên nên đọc bài này để hiểu cách Naive Bayes, một thuật toán phân loại cơ bản nhưng hiệu quả, hoạt động dựa trên lý thuyết xác suất và định lý Bayes—chìa khóa để xây dựng các mô hình AI đơn giản nhưng mạnh mẽ, từ nhận diện văn bản đến dự đoán dữ liệu thực tế.

Correlation vs Causation: A Trap Every Beginner Falls Into

Correlation vs Causation: A Trap Every Beginner Falls Into Two variables moving together tells you almost nothing about why. Understanding this properly will save you from some of the most common and …

Issue #137 - From Randomized to Natural Experiments

Thuốc trong tuần: Thuốc thử nghiệm ngẫu nhiên chuyển sang thử nghiệm tự nhiên.

Lập trình viên nên đọc bài này để hiểu cách áp dụng logic thống kê từ natural experiments—không phải chỉ là random hóa—để xây dựng mô hình AI/ML chính xác hơn trong các trường hợp thực tế, từ đó tối ưu hóa quyết định và dự đoán trong ứng dụng của bạn.

Statistics in Data Science: A Beginner’s Guide

Statistics in Data Science: A Beginner’s Guide What is Statistics?? Statistics is a branch of mathematics that involves collecting, organizing, analyzing, interpreting, and presenting data. It …

What are outliers, and how do you detect and treat them?

Điểm ngoại lai (outliers) là dữ liệu có giá trị khác biệt đáng kể so với phần còn lại. Các phương pháp phát hiện bao gồm thống kê (IQR, Z-score), trực quan (box plot, scatter plot) và thuật toán (DBSCAN, Isolation Forest). Xử lý có thể là loại bỏ, biến đổi hoặc giữ nguyên tùy theo bối cảnh.

Lập trình viên nên đọc bài này để hiểu cách xử lý các giá trị lạ trong dữ liệu—chính những điểm bất thường này có thể làm sai lệch mô hình AI, ảnh hưởng đến hiệu suất thuật toán và gây ra lỗi trong phân tích dữ liệu thực tế.

The Probability Formula You’re Already Using (And Where It Quietly Breaks)

Công thức xác suất (probability) được ứng dụng rộng rãi trong các chỉ số kinh doanh như tỷ lệ chuyển đổi, tỷ lệ rời bỏ hay tỷ lệ thoát trang. Tuy nhiên, công thức này cũng có những giới hạn nhất định khi áp dụng trong thực tế.

Một lập trình viên nên đọc bài này để hiểu cách xác định và xử lý sai sót trong các tính toán xác suất thực tế—chẳng hạn trong phân tích dữ liệu, hệ thống AI hoặc thiết kế hệ thống—trong khi các công thức cơ bản như P(A|B) vẫn được áp dụng.

Learn It Visually: 3 Interactive Tools to Master ML Clustering and Probability

Học trực quan là phương pháp hiệu quả để nắm vững các khái niệm trừu tượng trong khoa học dữ liệu, machine learning (ML) và toán học. Ba công cụ tương tác dưới đây sẽ giúp bạn hiểu sâu hơn về clustering và probability trong ML thông qua hình ảnh trực quan.

Lập trình viên nên đọc bài này vì các công cụ tương tác trong bài giúp hiểu trực quan hơn về các khái niệm phức tạp trong phân cụm ML và xác suất, giúp áp dụng dễ dàng vào dự án thực tế.

Why Your Betas Explode: The Hidden Geometry of Multicollinearity

A deep dive into multicollinearity in linear regression, explaining why OLS coefficients become unstable when features are highly correlated. Using Linear TV vs. Digital TV as a running example, the piece traces the problem from the OLS closed-form solution through linear algebra (Gram matrix, determinant, matrix inverse) to a geometric interpretation: correlated feature vectors collapse the volume of the feature space, causing the inverse of the Gram matrix to blow up and standard errors to explode. The same phenomenon is then translated into VIF and condition number diagnostics. A Python code demo with statsmodels shows how standard errors inflate as correlation rises from 0.3 to 0.99, while an independent channel (OOH) remains unaffected.

Learning Statistics for Machine Learning — Part 1: Understanding Probability

A beginner-friendly introduction to probability fundamentals as they relate to machine learning, based on Chapter 1 of Larry Wasserman's 'All of Statistics'. Covers sample spaces, events, set operations (union and intersection), conditional probability, and Bayes' theorem. The key insight is that probability is the mathematical language for reasoning under uncertainty, and Bayes' theorem allows reversing conditional probability to update beliefs given new evidence — a foundation underlying virtually all machine learning algorithms.

What are Type I and Type II errors?

A brief explainer on Type I and Type II errors in statistical hypothesis testing. Type I errors (false positives) occur when a true null hypothesis is incorrectly rejected, with probability denoted by α. Type II errors (false negatives) occur when a false null hypothesis is not rejected, with probability denoted by β. Key relationships include the trade-off between the two error types, the role of sample size in reducing both, and statistical power defined as 1 − β.

Inside the Subspace Where Spurious Correlations Are Born

Spurious correlations are not exclusive to large, high-dimensional datasets — small studies are equally susceptible. Using the geometry of Pearson's correlation coefficient, this piece explains why sample correlations are almost always nonzero even when the true population correlation is zero. Centering data constrains vectors to an (n-1)-dimensional hyperplane, and normalization places them on a unit sphere; the correlation then equals the cosine of the angle between two points on that sphere. Under Gaussian assumptions, rotational invariance yields the exact sampling distribution of the correlation, which is U-shaped for n=3, uniform for n=4, and converges to a normal distribution as n grows. Practical implications include: with only 3 subjects, correlations near ±1 are more likely than correlations near 0; with 10 subjects, there is a 25% chance of |r|>0.4 even under independence; and the exact Gaussian null distribution is surprisingly robust for symmetric non-normal data. The key takeaway is to always examine sample size before interpreting any reported correlation.

The Geometry of Uncertainty: A Fresh Perspective on Probability Distributions

A geometric and combinatorial reconstruction of the most fundamental probability distributions — exponential, Poisson, and normal — building from first principles rather than formulas. The exponential distribution is presented as the most primitive (requiring only a constant rate), Poisson as its counting consequence, and the normal distribution as the inevitable attractor of repeated convolution, visibly hiding inside Pascal's Triangle. The Law of Large Numbers is derived from just three simple properties (linearity of sum, variance scaling, mean scaling), revealing that the sample mean is an entirely different random variable from the original — one that converges toward certainty while individual outcomes remain permanently uncertain. The core insight is that independent deviations cannot conspire, making variance grow linearly rather than quadratically, and that this sub-quadratic growth is the true engine of the LLN.