PyTorch 2.13 Release Blog – PyTorch

PyTorch 2.13 is released with 3,328 commits from 526 contributors. Key highlights include FlexAttention landing on Apple Silicon (MPS) with up to ~12x speedup over SDPA on sparse patterns, a new CuTeDSL 'Native DSL' backend for Inductor as an alternative to Triton for GEMM and RMSNorm, and nn.LinearCrossEntropyLoss that fuses linear projection and loss computation to cut peak GPU memory by up to 4x for large-vocabulary LM training. Distributed training gains the new torchcomms backend for improved fault tolerance and debuggability, plus FSDP2 now supports overlapping reduce-scatter and all-gather via separate process groups. Python 3.15 wheel support (including free-threaded 3.15t) is available on Linux. Platform updates include ROCm AOTriton 0.12b, Armv9-A torch.compile targeting, and Intel XPU device telemetry APIs. Breaking changes include removal of named tensors and the Bazel build system.

Nguồn: https://pytorch.org/blog/pytorch-2-13-release-blog. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Towards Data Science1 Hot7 phút2 giờ trướcAI

The Real Challenge Limiting AI Models Today

Hiện nay, các mô hình AI tiên tiến bị hạn chế chủ yếu bởi băng thông bộ nhớ (memory bandwidth) chứ không phải tốc độ tính toán, khi dữ liệu di chuyển giữa bộ nhớ và bộ xử lý trở thành rào cản hiệu suất chính. Các giải pháp đang được nghiên cứu bao gồm cải tiến kiến trúc bộ nhớ, tính toán gần bộ nhớ, nén mô hình và sử dụng kết nối quang học.

Lập trình viên AI nên đọc bài này để hiểu cách tối ưu hóa hiệu suất hệ thống bằng kiến thức về giới hạn băng thông bộ nhớ—chìa khóa quyết định tốc độ xử lý mô hình lớn trong cả giai đoạn huấn luyện và dự đoán.

#llm