Fault-Tolerant Training on Spot GPU Droplets: Checkpoint, Resume, and Keep Your Run Alive

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. …

Built for agents: Omarchy's pipeline moves to DigitalOcean

DigitalOcean gia nhập Omacom Foundation với tư cách là Founding Corporate Patron, trở thành nhà cung cấp compute cho Omarchy. Sự hợp tác này giúp Omarchy di chuyển pipeline infrastructure sang DigitalOcean, tập trung vào development của agentic compute. Việc chuyển đổi này cho thấy sự phát triển mạnh mẽ của ecosystem Omarchy với sự tham gia của các cloud provider lớn. Lập trình viên nên đọc bài gốc để hiểu rõ hơn về technical implementation và cách tận dụng DigitalOcean cho các agentic system.

Bài viết này giúp lập trình viên hiểu cách DigitalOcean hỗ trợ hạ tầng cho hệ thống Omarchy, một nền tảng đang phát triển mạnh cho các tác nhân AI.

How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra

Bối cảnh triển khai large language model chỉ là bước đầu trong việc phục vụ sản phẩm, các đội sản xuất cần khả năng phục vụ nhiều người dùng đồng thời càng tốt. Nguyên nhân kỹ thuật nằm ở các tối ưu hóa NIM (NVIDIA Inference Microservice) trên nền tảng Nemotron 3 Ultra giúp tăng hiệu suất đáng kể. Hệ quả là hệ thống có thể xử lý 2.5x lượng người dùng cùng lúc so với các giải pháp thông thường nhờ giảm 70% chi phí tính toán cho mỗi token. Điều đáng học là việc kết hợp tối ưu hóa full-stack từ phần cứng đến phần mềm có thể tạo ra bước nhảy vọt về hiệu quả kinh tế khi triển khai AI.

Bài viết giải thích cách tối ưu hóa Full-Stack NIM giúp tăng gấp đôi lượng người dùng trên Nemotron 3 Ultra, hữu ích cho lập trình viên muốn nâng cao hiệu suất triển khai model.

CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs

CUDA Toolkit 13.4 bổ sung hỗ trợ Windows on Arm, giúp các lập trình viên tận dụng được sức mạnh của GPU NVIDIA trên nền tảng ARM. Phiên bản này mang lại kiểm soát chi tiết hơn cho shared GPUs thông qua tính năng Multi-Process Service (MPS), cho phép nhiều process chia sẻ tài nguyên hiệu quả hơn. Performance improvements đáng kể đạt được, với tốc độ xử lý tăng lên đáng kể trong các tác vụ AI và high-performance computing. Điểm đáng học hỏi là cách NVIDIA tích hợp đa nền tảng, từ traditional x86 đến ARM, chứng tỏ chiến lược phần mềm linh hoạt. Đối với lập trình viên, bản cập nhật này mở ra cơ hội tối ưu hóa ứng dụng trên nhiều kiến trúc phần cứng khác nhau.

Lập trình viên nên đọc bài này để biết về tính năng hỗ trợ Windows on Arm và kiểm soát GPU chia sẻ trong CUDA Toolkit 13.4.

Building GPU Drivers in Rust: Tyr at RustConf 2026

Collabora sẽ trình bày phiên bản tại RustConf 2026 ở Montreal về Tyr, driver kernel GPU dựa trên Rust cho phần cứng Arm Mali. Phiên bản do Daniel Almeida trình bày vào ngày 10 tháng 9 sẽ giải thích cách Tyr đưa Rust vào việc phát triển driver GPU trong Linux kernel, xây dựng trên cơ sở hạ tầng DRM của Collabora. Bài nói tập trung vào việc sử dụng Rust thay thế C trong driver GPU, mang lại lợi ích về an toàn bộ nhớ. Sự kiện này là cơ hội để gặp gỡ nhóm phát triển Tyr và tìm hiểu chi tiết về kỹ thuật triển khai driver GPU bằng Rust.

Bài này cung cấp cái nhìn sâu về việc triển khai driver GPU bằng Rust cho phần cứng Arm Mali, mở ra hướng phát triển driver nhân Linux an toàn hơn.

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

Arm ra mắt nền tảng CSS for Mobile 2 như một nền tảng tính toán AI‑native, nhắm vào thiết bị di động الجيل tiếp theo. Nền tảng này bao gồm hai nhân CPU C2‑Ultra và C2‑Pro, mỗi tích hợp SME2 (Scalable Matrix Extension 2) để tăng tốc phép toán ma trận. Đồng thời, nó đi kèm với GPU Mali G2‑Ultra NX, được tối ưu cho workloads AI và đồ họa song song. Kết hợp SME2 và GPU mới cho phép tăng hiệu suất AI lên tới vài chục phần trăm so với thế hệ trước, đồng thời giảm tiêu thụ năng lượng mỗi phép tính. Điều này cho thấy xu hướng đưa các phần mở rộng ma trận chuyên dụng và GPU mạnh vào cùng một SoC để xây dựng nền tảng AI‑native, là bài học quan trọng cho các nhà thiết kế chip khi cân nhắc đọc bài gốc.

Bài viết này giúp lập trình viên nắm bắt kiến thức về nền tảng tính toán AI-native mới nhất từ Arm để tối ưu hóa hiệu năng ứng dụng di động.

Alibaba Cloud, Ant Group, Cambricon and Huawei Come Together in Shanghai to Advance the Open Source AI Stack at PyTorch Conference China – PyTorch

Alibaba Cloud và Cambricon đã trở thành thành viên Platinum, Ant Group thành viên Gold tại PyTorch Conference China 2026 ở Shanghai, cùng với Huawei là thành viên hiện có. Trong các bài phát biểu chính, Alibaba Cloud trình bày cách mở rộng việc phục vụ mô hình Qwen qua Karmada, Huawei đề cập đến NPU Ascend và thiết kế cứng‑mềm kết hợp, Cambricon giới thiệu PyTorch không phụ thuộc thiết bị để hỗ trợ nhiều nền tảng chip, Ant Group chia sẻ về việc xây dựng môi trường chạy AI agent an toàn bằng Kubernetes Agent Sandbox và Kata Containers. Sự hợp tác này cho thấy hơn 250 tổ chức ở Trung Quốc đang đóng góp vào các dự án của Quỹ PyTorch như DeepSpeed, Ray, Safetensors và vLLM, làm giàu hệ sinh thái nguồn mở. Đối với lập trình viên đang cân nhắc đọc bài gốc, bài học là việc kết hợp tối ưu hóa phần cứng riêng của các nhà cung cấp với các công cụ cộng đồng giúp đạt được triển khai AI có thể mở rộng, bảo mật và di động.

Bài viết này cho thấy hợp tác của các tập đoàn công nghệ hàng đầu Trung Quốc trong thúc đẩy stack AI mở thông qua PyTorch, mang lại hiểu biết sâu sắc về xu hướng phát triển AI và hợp tác công nghệ.

LLM Routing Can Cost More Than Not Routing

Nhiều đội ngũ xây dựng ứng dụng LLM thường thêm một lớp router production-grade để quản lý luồng gọi mô hình và cân bằng tải. Tuy nhiên, router này tạo ra một bước mạng bổ sung, cần serialize/deserialize prompt và phản hồi, đồng thời thực hiện các quy tắc định tuyến phức tạp, khiến latency trung bình tăng lên và tiêu thụ tài nguyên tăng theo. Kết quả là, chi phí tổng thể của việc sử dụng router có thể vượt quá lợi ích mà nó mang lại, đặc biệt khi lưu lượng truy vấn thấp hoặc mô hình đã được tối ưu để gọi trực tiếp. Thí nghiệm trong bài cho thấy trong một số trường hợp, thời gian phản hồi tăng khoảng 30‑40% và chi phí CPU/tài nguyên tăng 20‑25% so với việc không định tuyến. Điều này nhắc nhở các lập trình viên cần đo lường overhead thực tế của lớp router trước khi quyết định triển khai, và cân nhắc các giải pháp đơn giản hơn hoặc gọi trực tiếp khi không cần khả năng mở rộng cao.

Đọc bài này giúp lập trình viên hiểu được những chi phí ẩn và cách tối ưu hóa khi triển khai router cho ứng dụng LLM.