Canary rollouts: upgrade models in production without downtime

Triển khai hard model swap ảnh hưởng đến tất cả user cùng một lúc và việc rollback lại gây cold-start khi hệ thống đang chịu áp lực. Canary rollouts giải quyết vấn đề này bằng cách chia traffic thành các giai đoạn kiểm soát trên infrastructure inference chuyên dụng. Phương pháp này sử dụng metric gates để theo dõi hiệu suất và kích hoạt automatic rollback khi phát hiện bất thường. Các hệ thống lớn như Netflix đã áp dụng kỹ thuật này giúp giảm thiểu rủi ro khi upgrade production model mà không cần downtime.