Fault-Tolerant Training on Spot GPU Droplets: Checkpoint, Resume, and Keep Your Run Alive

DigitalOcean cung cấp Spot GPU Droplets cho phép truy cập tự động theo giờ các GPU NVIDIA HGX B300 và AMD Instinct MI350X/MI355X với giá cố định khi bạn khởi chạy. Các GPU này có thể bị thu hồi bất cứ lúc nào, gây gián đoạn quy trình training model deep learning. Bài viết đề xuất giải pháp sử dụng checkpointing và resume mechanism để xử lý việc mất GPU đột ngột, giúp duy trì tính toàn vẹn của quá trình training. Thực hiện đúng kỹ thuật này giúp tiết kiệm chi phí đáng kể so với sử dụng Dedicated GPU mà vẫn đảm bảo tính bền vững của các experimental runs.