Distribution Shift Isn’t a Corner Case, It’s the Default After You Deploy

Khi một mô hình được đưa vào production, môi trường dữ liệu thường không giống như dữ liệu huấn luyện ban đầu. Sự distribution shift xảy ra khi dữ liệu đầu vào thay đổi hoặc khi mô hình gặp các tính năng chưa từng xuất hiện trong giai đoạn launch. Các mô hình có launch-day accuracy cao nhất thường không tồn tại lâu dài; những mô hình còn tồn tại là những được thiết kế để chịu đựng shift. Vì shift là trạng thái mặc định, cần thiết kế mô hình với khả năng thích nghi, thực hiện monitoring và retrain thường xuyên. Các mô hình còn tồn tại thường sử dụng data versioning, feature store và pipeline retraining để duy trì hiệu suất.