#gradient-descent

Rock Bottom Is Just Convergence

Phần lớn kiến thức và kinh nghiệm quan trọng nhất trong cuộc sống thường đến từ những thất bại, những lựa chọn không mong muốn hay những chương đời không muốn nhớ lại.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ những thất bại ban đầu thành cơ hội học hỏi sâu sắc, giúp họ xây dựng lại kỹ năng và định hướng sự nghiệp một cách thông minh hơn từ những trải nghiệm không mong muốn.

Momentum in ML, Explained Visually and Intuitively!

(a popular ML interview question)

Backpropagation: How a Neural Network Learns From Its Mistakes

Backpropagation: How a Neural Network Learns From Its Mistakes When an artificial neural network is first created, it is completely blank — every connection, weight, and bias is just a random …

Python AI: How to Build a Neural Network & Make Predictions Quiz – Real Python

Bài viết là một quiz từ Real Python nhằm kiểm tra mức độ hiểu biết về cách mạng neural thực hiện dự đoán bằng Python. Nó tập trung vào các khái niệm cơ bản như tính dot product giữa vector trọng số và đầu vào, hàm kích hoạt (activation function), thuật toán gradient descent và quá trình lan truyền ngược (backpropagation). Qua từng câu hỏi, người làm quiz có thể nhanh chóng phát hiện những điểm yếu trong việc tính toán các lớp và cập nhật trọng số. Việc nắm vững những yếu tố này giúp giảm lỗi khi xây dựng mô hình và tăng độ tin cậy của các dự đoán thực tế. Do đó, bài đọc này gợi ý nên ôn lại các công cụ toán học và thuật toán trước khi chuyển sang thực hiện mạng neural phức tạp hơn.

Kiểm tra kiến thức về mạng nơron và quá trình dự đoán bằng Python giúp bạn nắm vững các khái niệm cốt lõi từ dot product đến backpropagation.

Backpropagation Explained for Beginners (Part 3): How Backpropagation Really Works

Bài viết giải thích cách backpropagation tính toán gradient hiệu quả bằng cách tái sử dụng các đạo hàm riêng trung gian thay vì tính toán lại từ đầu, thông qua ví dụ cụ thể cho mạng nơ-ron nhỏ với 2 nơ-ron ẩn, sử dụng ReLU và MSE loss. Phương pháp này tối ưu hơn so với cách tiếp cận chuỗi quy tắc (chain-rule) thông thường bằng cách thực hiện lan truyền ngược có ghi nhớ.

Lập trình viên cần đọc bài này để hiểu cách backpropagation tiết kiệm thời gian tính đạo hàm bằng cách lưu trữ và tái sử dụng các giá trị trung gian thay vì phải tái tính từ đầu mỗi lần, giúp tối ưu hóa hiệu suất trong huấn luyện mạng neuron.

Don’t Just “Throw Adam at It”: Misunderstanding Adam Will Cost You

Blindly using Adam optimizer with default hyperparameters (β₁=0.9, β₂=0.999, ε=1e-8) is a common but costly mistake. The author shares a personal story of burning thousands of GPU hours on architectural changes before discovering the real culprit was misconfigured Adam betas. The post explains how Adam's first and second moment estimates work mathematically, documents proven failure modes (convergence to suboptimal solutions, loss spikes in large models, instability in reinforcement learning), and provides practical guidance on when and how to modify defaults — such as reducing β₂ to 0.95, increasing ε dramatically in RL settings, and using gradient clipping. A PyTorch gotcha around differing weight_decay defaults between Adam and AdamW is also highlighted.

Backpropagation Explained for Beginners (Part 2): There Has to Be a Better Way

Part 2 of a beginner-friendly series on backpropagation. Builds on Part 1 by introducing the chain rule as a systematic method for computing gradients in a neural network. Walks through each partial derivative step-by-step (loss w.r.t. prediction, prediction w.r.t. activation, ReLU derivative, and pre-activation w.r.t. weight), then assembles them via the chain rule to recover the same gradient derived classically in Part 1. Concludes by identifying the inefficiency of recomputing shared partial derivatives for each parameter separately, setting up Part 3's exploration of how backpropagation reuses intermediate results in a single backward pass.

Optimization: Gradient Descent to Adam

Bài viết giới thiệu quá trình tối ưu hóa thuật toán từ Gradient Descent đến Adam, do Muhammadfakharulhasnain xuất bản.

Lập trình viên cần đọc bài này để hiểu cách Adam—một phương pháp tối ưu hóa hiệu quả hơn Gradient Descent—tận dụng tính linh hoạt của các momentum và điều chỉnh learning rate tự động, giúp cải thiện tốc độ học và chính xác trong các mô hình deep learning phức tạp.

Momentum as Dissipative Dynamics

Momentum as Dissipative Dynamics We teach gradient descent as a hiker stumbling down a mountain. This intuition is pedagogical poison. The reality is richer, stranger, and far more physical than any …

Medium

Learn Logistic Regression from first principles with sigmoid, Maximum Likelihood, and Binary Cross-Entropy explained simply, clearly, and visually.

Build a Neural Network from Scratch: From First Principles to Backpropagation [Modern C++/ No Libs]

“” is published by Vibhor Jaiswal.

The Day the Machine Learned to Doubt Improvement

Cỗ máy bắt đầu học cách nghi ngờ sự cải thiện khi nhận ra việc tìm phương hướng tốt hơn chỉ là khởi đầu, còn nhận biết đích đến thực sự mới là thách thức lớn hơn.

Lập trình viên nên đọc bài này để hiểu cách AI phát triển từ sự tự tin ban đầu đến sự nghi ngờ và tự phản ánh, giúp họ hiểu về những thách thức trong việc đánh giá và tối ưu hóa hệ thống thông minh trong tương lai.