Your Model Isn’t Undertrained. Your Data Is Underlabeled.

Nhiều đội nhóm khi gặp hạn chế hiệu suất model thường tăng số lượng layer và parameters, nhưng thực chất vấn đề nằm ở dữ liệu thiếu nhãn (underlabeled). Bài viết chỉ ra rằng dữ liệu poorly labeled gây hiện tượng "fake plateau" làm vẻ model bị undertrained. Thông qua nghiên cứu trên tập MNIST và CIFAR-10, tác giả chứng minh việc fix labeling errors giúp model đạt hiệu suất cao mà không cần architecture changes. Đây là bài học quan trọng: thay vì phức tạp hóa model, nên đầu tư vào việc kiểm tra chất lượng dataset trước khi tối ưu training process.