Miles: A PyTorch-Native Stack for Large-Scale LLM RL Post-Training – PyTorch

Miles is RadixArk's open-source framework for large-scale LLM reinforcement learning post-training. It composes SGLang for high-throughput rollout generation, NVIDIA Megatron-LM for scalable distributed training, Ray for cluster orchestration, and PyTorch as the common programming layer. Key features include MoE-aware rollout/training alignment via Routing Replay, fast NCCL/RDMA weight synchronization, unified low-precision recipes (BF16/FP8/MXFP8/INT4-QAT), LoRA support across rollout and training, asynchronous execution mode, and rank-level fault tolerance. The framework follows a small-core design with explicit extension points for rollout functions, reward functions, loss functions, sample filters, training hooks, and model specs — allowing researchers to customize algorithms without forking the framework. It ships with ready-to-run recipes for frontier models including DeepSeek-V4, Kimi K2.5/K2.6, GLM-5, and Qwen3.5, targeting NVIDIA Hopper and Blackwell GPUs.

Nguồn: https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Hugging Face1 Hot11 phút4 giờ trướcAI

Why Specialization Is Inevitable

AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.

Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.