AMD ZenDNN 6.0 Brings Many Improvements For Accelerating Inference On Ryzen/EPYC CPUs

AMD Sends Out Latest Linux Patches For RMPOPT Optimization

AMD vừa gửi phiên bản thứ mười của các bản vá hạt nhân Linux nhằm tối ưu hóa RMPOPT, một lệnh mới giúp giảm tải kiểm tra bảng RMP (Reverse Map Table) trong các máy chủ sử dụng SEV-SNP (Secure Encrypted Virtualization Secure Nested Paging). RMPOPT cho phép hypervisor bỏ qua kiểm tra RMP trên các vùng bộ nhớ 1GB không chứa bộ nhớ khách SEV-SNP, cải thiện hiệu suất trên máy chủ không bão hòa hoàn toàn với các máy ảo bảo mật. Các bản vá hỗ trợ máy chủ lên đến 2TB RAM, với kế hoạch nâng giới hạn này trong tương lai.

Lập trình viên phát triển phần mềm cho hệ thống máy chủ cần hiểu RMPOPT để tối ưu hóa hiệu suất của ứng dụng trên các máy chủ sử dụng SEV-SNP, đặc biệt khi triển khai trên các CPU Zen 6 EPYC Venice.

Bringing PyTorch Monarch to AMD GPUs: Single-Controller Distributed Training on ROCm – PyTorch

PyTorch Monarch của Meta, framework huấn luyện phân tán single-controller, đã được chuyển sang chạy trên GPU AMD Instinct thông qua ROCm bằng cách chuyển đổi mã CUDA/NCCL sang HIP/RCCL, xử lý khác biệt liên kết động và bổ sung lớp tương thích Rust. Tích hợp với TorchTitan và TorchFT, hệ thống hỗ trợ huấn luyện chịu lỗi không checkpoint: khi GPU gặp sự cố, các bản sao khỏe tiếp tục hoạt động trong khi bản sao lỗi khởi động lại và nhận dữ liệu từ bản sao khác. Kiểm thử trên cụm 128 GPU MI300 (16 node) và 256 GPU MI355 (32 node) cho thấy hội tụ loss ổn định ngay cả khi chủ động gây lỗi, không cần khởi động lại toàn bộ công việc.

Là một lập trình viên làm việc với AI/ML trên GPU AMD, bạn nên đọc bài này để khám phá cách chuyển đổi và tích hợp PyTorch Monarch trên ROCm, giúp tối ưu hóa phân tán huấn luyện một cách hiệu quả và bền vững trên các kiến trúc GPU AMD mới nhất.

Ryzen AI Developer Platform: AMD's Own Linux Distribution Built Atop Debian

AMD ships the Ryzen AI Halo developer mini PC with a custom Linux distribution called AMD Ryzen AI Developer Platform 1 "Rex", built on Debian rather than the expected Ubuntu. The OS includes a GNOME desktop with a custom AMD Ryzen AI Developer Center GUI for managing AI software (ROCm 7.13 preview, vLLM, Llama.cpp, ComfyUI, PyTorch, Lemonade Server), toggling telemetry, adjusting GPU performance settings, controlling SSH access, and even managing the device's LED lighting strip. The out-of-the-box experience is described as more polished than a plain Ubuntu preload.

AMD Ryzen AI Halo Is An Excellent & Powerful Mini PC With Fully Open-Source Software Review

AMD's Ryzen AI Halo is a compact mini PC built around the Ryzen AI Max+ 395 'Strix Halo' SoC, featuring 128GB of unified LPDDR5x memory, Radeon 8060S graphics, and support for up to 200B parameter LLMs. Targeted at local AI development and inferencing, it runs either Windows 11 or a Debian-derived AMD Ryzen AI Developer Platform Linux OS with fully open-source software. The device measures 150x150x45mm, weighs under 1.2kg, has a 120W TDP, and includes 10GbE, WiFi 7, USB-C power delivery, and a 2TB PCIe Gen5 NVMe SSD. Performance is competitive with NVIDIA DGX Spark/GB10, and the Linux software stack exceeded expectations beyond a basic Ubuntu+ROCm setup.

Japan's Turing takes AMD backing for self-driving

Japanese self-driving startup Turing Inc. has secured AMD Ventures as an investor and shifted roughly 10% of its AI training workloads to AMD GPUs, reducing dependence on Nvidia and cutting compute costs. The Tokyo-based company, valued at ~$600m after a $79m funding extension, aims to deploy self-driving software in consumer cars and robotaxis by 2028. Despite entering a crowded market late, Turing's CFO argues the gradual adoption cycle of new car models gives them time to compete on cost-efficiency. AMD is making similar bets in the autonomous driving space, having also backed UK firm Wayve.

Understanding PyTorch’s Test Infrastructure – PyTorch

PyTorch's test infrastructure generates test names dynamically at import time by expanding template classes across devices (CPU, CUDA, MPS, XPU) and dtypes using instantiate_device_type_tests(). This means CI failure names like TestLinalgCUDA.test_matmul_cuda_float32 differ from the source template names, causing 'no tests collected' errors when running by template name. The guide explains how device-generic tests, OpInfos (operator metadata entries), and CI sharding work together. Key debugging tips include using pytest -k with generated test name patterns, using test/run_test.py for CI-like runs, and leveraging environment variables like PYTORCH_TESTING_DEVICE_ONLY_FOR. Common pitfalls covered include targeting template names directly, using torch.randn in dtype-generic tests, and hardcoding device strings.

PANet Paper Walkthrough: When Feature Pyramids Go Bottom-Up

PANet cải tiến FPN bằng cách bổ sung đường dẫn bottom-up, giúp rút ngắn luồng thông tin giữa các feature map nông và sâu. Trong khi FPN cung cấp thông tin ngữ nghĩa cho lớp nông qua đường top-down, PANet bổ sung lớp tích chập để truyền thông tin không gian ngược lên, giảm đường dẫn từ hơn 100 lớp backbone xuống khoảng 10 lớp. Bài viết hướng dẫn chi tiết kiến trúc này và cung cấp triển khai PyTorch từ đầu bao gồm backbone, FPN và PANet trong lớp BackboneNeck.

Lập trình viên muốn triển khai hiệu quả mô hình nhận diện hình ảnh cần hiểu cách PANet tối ưu hóa lưu lượng thông tin giữa các tầng đặc trưng để cải thiện độ chính xác và hiệu suất của mạng, đặc biệt khi xây dựng từ scratch trên PyTorch.