Đang tải bảng tin…
Towards Data Science0 Hot0 bình luận13 phút đọc
Inside the Subspace Where Spurious Correlations Are Born
Spurious correlations are not exclusive to large, high-dimensional datasets — small studies are equally susceptible. Using the geometry of Pearson's correlation coefficient, this piece explains why sample correlations are almost always nonzero even when the true population correlation is zero. Centering data constrains vectors to an (n-1)-dimensional hyperplane, and normalization places them on a unit sphere; the correlation then equals the cosine of the angle between two points on that sphere. Under Gaussian assumptions, rotational invariance yields the exact sampling distribution of the correlation, which is U-shaped for n=3, uniform for n=4, and converges to a normal distribution as n grows. Practical implications include: with only 3 subjects, correlations near ±1 are more likely than correlations near 0; with 10 subjects, there is a 25% chance of |r|>0.4 even under independence; and the exact Gaussian null distribution is surprisingly robust for symmetric non-normal data. The key takeaway is to always examine sample size before interpreting any reported correlation.
Nguồn: https://towardsdatascience.com/inside-the-subspace-where-spurious-correlations-are-born. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Google Developers1 Hot2 phútAI
ML Development in VS Code with Google Cloud Power: Workbench Extension Now Available
Google Cloud vừa ra mắt tiện ích mở rộng Workbench Notebooks cho VS Code, giúp nhà khoa học dữ liệu và lập trình viên quản lý Jupyter notebooks trên cloud trực tiếp từ IDE cục bộ. Tiện ích này kết nối VS Code với cơ sở hạ tầng tối ưu AI của Google Cloud, giảm thiểu sự chuyển đổi ngữ cảnh giữa thử nghiệm cục bộ và điện toán đám mây.
Lập trình viên AI/ML sẽ tiết kiệm thời gian và hiệu suất khi sử dụng công cụ này để chạy và quản lý notebooks trên Google Cloud từ VS Code, tránh mất thời gian chuyển đổi giữa môi trường cài đặt địa phương và cloud.
