Bringing PyTorch Monarch to AMD GPUs: Single-Controller Distributed Training on ROCm – PyTorch

PyTorch Monarch, Meta's single-controller distributed training framework, has been ported to AMD Instinct GPUs running ROCm. The port involved converting CUDA/NCCL code to HIP/RCCL using hipify_torch, handling dynamic linking differences, and adding a Rust compatibility shim to avoid platform-specific branching. Integrated with TorchTitan and TorchFT, the system enables checkpoint-less fault-tolerant training: when a GPU process crashes, healthy replicas continue training while the failed replica restarts and receives a peer checkpoint transfer from a donor replica. Validation on a 16-node SLURM cluster (128 MI300 GPUs) and a 32-node Kubernetes cluster (256 MI355 GPUs) showed stable loss convergence despite frequent injected failures, with no full job restarts required.

Nguồn: https://pytorch.org/blog/bringing-pytorch-monarch-to-amd-gpus-single-controller-distributed-training-on-rocm. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

DevOps.com11 Hot5 phút18 giờ trướcAI

Mistral Releases Leanstral 1.5, an Open Model That Solved 587 of 672 Putnam Math Problems

Mistral AI vừa ra mắt Leanstral 1.5, một mô hình hỗn hợp chuyên biệt (119B tham số, ~6B hoạt động) dành cho việc viết và xác minh chứng minh hình thức trong Lean 4, giải được 587/672 bài toán Putnam và đạt 100% trên miniF2F. Ngoài ra, mô hình còn hoạt động như một tác nhân mã hóa, phát hiện 5 lỗi chưa biết trong 57 kho mã nguồn mở nhờ cơ chế phản hồi được xác nhận bởi trình biên dịch.

Lập trình viên nên đọc bài này vì Leanstral 1.5 không chỉ là một công cụ giải quyết toán học mà còn là một mô hình AI có khả năng phát hiện lỗi trong mã nguồn thực tế, giúp tối ưu hóa chất lượng code và hiệu suất trong các dự án lớn.