Overtraining as the path to human-like AI

Gwern's 13,000-word essay 'Human-like Neural Nets by Catapulting' proposes that LLMs fail to achieve human-like generalization because they haven't 'grokked' their training data. Grokking — a phenomenon where continued overtraining past apparent convergence causes a sudden leap in generalization — requires training a very large, over-parameterized model on a relatively small dataset. This is the opposite of what frontier AI labs currently do (training smaller models on massive datasets). Gwern argues that training a ~100-trillion-parameter model on constrained data, at a cost of $3–10B, could force the model to discover deeper generalizations rather than relying on memorization. The author summarizes and evaluates this argument, noting the political and engineering obstacles, and expresses cautious optimism that a major lab should attempt it.

Nguồn: https://seangoedecke.com/overtraining-as-the-path-to-human-like-ai. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Daily Dose of Data Science | Avi Chawla | Substack1 Hot8 phút4 giờ trướcAI

RLHF vs. DPO vs. GRPO in RL

RLHF, DPO, GRPO là ba phương pháp tối ưu hóa phản hồi con người (RL) trong huấn luyện mô hình ngôn ngữ, được minh họa trực quan qua so sánh ưu nhược điểm và cách thức hoạt động.

Lập trình viên muốn tối ưu hóa hệ thống AI cho ứng dụng thực tế nên đọc để hiểu cách chọn phương pháp điều chỉnh hiệu quả nhất—RLHF, DPO hay GRPO—trong từng trường hợp cụ thể, từ hiệu suất đến chi phí và độ tin cậy.

#llm