#cuda

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. Công ty đang phát triển hai hướng tiếp cận riêng cho CUDA Rust, cạnh tranh với các công cụ trưởng thành như CUDA C++ và CUDA Python. Việc này giải quyết nhu cầu về ngôn ngữ an toàn bộ nhớ hơn cho lập trình GPU, vốn hiện chủ yếu dựa vào C++. Lập trình viên nên cân nhắc track phù hợp giữa Rust CUDA Compiler (RCC) và Rust-CUDA crate tùy thuộc vào nhu cầu dự án. Sự phát triển này đánh dấu bước tiến quan trọng khi Rust đang dần trở thành lựa chọn thay thế cho C++ trong các hệ thống hiệu năng cao.

Bài này giúp lập trình viên Rust nắm bắt hướng đi mới của NVIDIA cho lập trình GPU native.

Why matching CUDA drivers is finally easier

Bài viết giải thích rằng trước đây việc sao chép bản CUDA toolkit và driver phải khớp chính xác phiên bản, gây nhiều lỗi khi triển khai trên các hệ thống khác nhau. NVIDIA đã ra mắt CUDA Compatibility Pack bắt đầu từ CUDA 11.7, cho phép một bản driver duy nhất hỗ trợ nhiều phiên bản toolkit liên tiếp. Nhờ đó, trên Linux và Windows, nhà phát triển chỉ cần cập nhật driver mỗi kwartal thay vì mỗi khi nâng cấp toolkit, giảm thiểu thời gian downtime. Thử nghiệm trên các cụm GPU cho thấy tỷ lệ lỗi phiên bản driver giảm hơn 70% so với phương pháp cũ. Điều này cho thấy đầu tư vào các gói tương thích ngược có thể đơn giản hoá quy trình CI/CD cho các ứng dụng GPU-intensive.

Bài này giải thích tại sao việc khớp phiên bản driver CUDA giờ đây đơn giản hơn, giúp lập trình viên tiết kiệm thời gian và giảm thiểu lỗi hệ thống.

CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs

CUDA Toolkit 13.4 bổ sung hỗ trợ Windows on Arm, giúp các lập trình viên tận dụng được sức mạnh của GPU NVIDIA trên nền tảng ARM. Phiên bản này mang lại kiểm soát chi tiết hơn cho shared GPUs thông qua tính năng Multi-Process Service (MPS), cho phép nhiều process chia sẻ tài nguyên hiệu quả hơn. Performance improvements đáng kể đạt được, với tốc độ xử lý tăng lên đáng kể trong các tác vụ AI và high-performance computing. Điểm đáng học hỏi là cách NVIDIA tích hợp đa nền tảng, từ traditional x86 đến ARM, chứng tỏ chiến lược phần mềm linh hoạt. Đối với lập trình viên, bản cập nhật này mở ra cơ hội tối ưu hóa ứng dụng trên nhiều kiến trúc phần cứng khác nhau.

Lập trình viên nên đọc bài này để biết về tính năng hỗ trợ Windows on Arm và kiểm soát GPU chia sẻ trong CUDA Toolkit 13.4.

Accelerating a ROS 2 Node with an AI Agent and NVIDIA Isaac ROS

GPU acceleration can speed up compute-intensive robotics workloads, but a fast CUDA kernel alone does not guarantee a fast ROS 2 graph. As messages move between…

Richard Geldreich's Blog: NNTC PBR material set compressor: now supports CPU encoding

An update to the NNTC (Non-Neural Texture Compression) PBR material set compressor adds CPU-based encoding support in addition to existing CUDA support. Encoding and viewing have also been tested on Windows ARM. An updated Prior Art disclosure dated September 19, 2026 accompanies the release.

Graphics Programming weekly - Issue 455 - September 13th, 2026

3D Programmer

OpenVDB Introduces SIMD Framework With Some 2~4x Performance Improvements

OpenVDB 13.1 giới thiệu framework SIMD mới sử dụng VectorClass Library của Agner Fog để vector hóa ISA trên x86, hỗ trợ lên đến AVX-512. Khi biên dịch với USE_VCL=ON, thuật toán point transfer đạt hiệu năng tăng gấp 2-4 lần trên CPU x86_64 hiện đại có hỗ trợ AVX-512. Phiên bản này cũng cải thiện quản lý tài nguyên CUDA và tốc độ kernel của NanoVDB, cùng cập nhật công cụ dòng lệnh vdb_tool. Đáng học hỏi là việc tích hợp vector hóa thủ công có thể mang lại hiệu năng đáng kể với các thư viện xử lý dữ liệu lớn.

OpenVDB 13.1 mang lại hiệu năng tăng 2-4x nhờ framework SIMD mới, giúp lập trình viên tối ưu hóa ứng dụng xử lý volumetric data trên x86.

CUDA.jl 6.4: NVIDIA Jetson support, and compiled code caching

CUDA.jl 6.4 cải thiện hỗ trợ đáng kể cho các bo mạch NVIDIA Jetson, bao gồm khả năng tương thích với công cụ CUDA 10 và 11 trên Jetson Nano, TX1/TX2 và Xavier, trong khi các bo mạch Orin và Thor trên JetPack 6+ nhận được hỗ trợ đầy đủ. Phiên bản này mở rộng bộ đệm mã GPU biên dịch sang CUBIN thực tế (không chỉ là mã suy luận), giảm thời gian thực thi đầu tiên đáng kể - cuộc gọi đầu tiên mất 1.3s không được đệm và 0.13s trong v6.3 nay chỉ còn dưới 5ms trên RTX 5080. Các thay đổi khác bao gồm hỗ trợ CUDA 13.4, nâng cấp trình biên dịch LLVM 23 và logging thống nhất thông qua JULIA_DEBUG.

CUDA.jl 6.4 mang lại hỗ trợ cải thiện đáng kể cho NVIDIA Jetson và giảm đáng kể thời gian biên dịch mã GPU với tính năng cache mã CUBIN thực tế.

Richard Geldreich's Blog: Notes on NNTC vs. neural texturing

NNTC uses a bilinear/degree-2 polynomial decoder fitted per PBR material, in contrast to solutions using full MLP-based neural networks. While MLPs typically achieve slightly better PSNR (1-3 dB), they make GPU texture filtering harder and training is far more expensive. After optimizing the NNTC-specific CUDA encoder with BC4/BC5 awareness, it surpassed the neural network approach on raw PSNR. The author argues that correctly configured latent textures using traditional high-resolution weight planes with supercompression (RDO+LZ, DCT) make expensive MLP decoding unnecessary for PBR textures, and that NNTC's CUDA-based encoding in seconds is hard for backprop-based neural solutions to match.

Richard Geldreich's Blog

Richard Geldreich đã phát triển NNTC, một PBR texture encoder mã nguồn mở sử dụng biểu diễn two-latent được tối ưu hóa cho đường sampling GPU thay vì mạng nơ-ron. Công nghệ này đạt tỷ lệ nén khoảng 2.5 bits per pixel VRAM và xuất file .DDS cùng JSON coefficients với các phép toán tuyến tính đơn giản. Từ nghiên cứu ban đầu về neural texture compression bằng Evolution Strategies, tác giả đã phát hiện ra cách tái cấu trúc tương tự PVRTC1 loại bỏ hoàn toàn việc giải mã bằng mạng nơ-ron. Công cụ hỗ trợ Windows và Linux, yêu cầu CUDA cho encoding, và đi kèm viewer D3D11 minh họa quá trình sampling và decoding. Kế hoạch tiếp theo là transcoding BC4/BC5 sang ASTC để hỗ trợ thiết bị di động.

Bài này giới thiệu NNTC, một giải pháp mã hóa texture PBR hiệu quả nhanh hơn dùng thao tác tuyến tính thay vì mạng neural.

To Infinity and Beyond: ThunderKittens Now on NVIDIA Vera Rubin NVL72!

We ported ThunderKittens to NVIDIA's Vera Rubin NVL72 and rebuilt our NVFP4 GEMM around the new hardware, taking it from 42% of roofline to over 22 PFLOPS — competitive with cuBLAS and CuTe DSL. Here is what changed in the ISA and how we used it.

Richard Geldreich's Blog: Neural block textures vs. GPU textures

Một nhà nghiên cứu đồ họa đang thử thay thế bộ giải mã cứng như ASTC/BC1‑7 bằng một MLP nhỏ có thể cấu hình, kết hợp với lấy mẫu endpoint bilinear kiểu PVRTC1. MLP này chỉ có khoảng 250‑1200 trọng số, hoạt động trên một bản đồ màu latent độ phân giải thấp (1/4‑1/16 của texture gốc) và các kênh selector mỗi texel, được huấn luyện bằng backprop hoặc chiến lược di tiến. Kết quả cho thấy tỷ lệ bit/chất lượng cạnh tranh với các phương pháp nén dựa trên biến đổi của GPU trên texture đơn, và vì chi phí giải mã được chia sẻ giữa các kênh, khả năng mở rộng tốt hơn khi áp dụng cho vật liệu đa kênh. Một triển khai hoạt động trên CUDA đã được cung cấp, kèm phiên bản CPU SIMD dự phòng, trong khi mã hóa BC7 nhanh vẫn sử dụng kỹ thuật bc7f hiện có mà không cần sideband giống NTC. Điều này cho thấy một mạng neural nhẹ có thể đạt hiệu quả bằng hoặc vượt qua bộ giải mã cứng truyền thống, đồng thời mang lại sự linh hoạt và lợi thế chi phí khi mở rộng sang nhiều kênh, gợi hướng phát triển cho các pipeline texture trong tương lai.

Những kiến thức về Neural Texture Compression từ bài này sẽ giúp lập trình viên tối ưu hóa hiệu suất render cho game hoặc ứng dụng đồ họa bằng cách áp dụng các giải pháp mới về nén texture thông minh, giảm chi phí decode hardware và cải thiện chất lượng hình ảnh với chi phí bitrate thấp hơn so với các phương pháp truyền thống.

Richard Geldreich's Blog: Neural block textures stored inside KTX2: a near-perfect fit

Richard Geldreich đang đề xuất tích hợp codec texture block neural vào định dạng KTX2 của Khronos, cạnh tranh với các codec transform domain. Giải pháp này nhắm đến bitrate khoảng 1-2.5 bpp, tương đương với nén BC7, tối ưu cho texture đơn, bộ vật liệu PBR và các tile địa lý có liên quan. Chi phí inference sẽ được phân bổ đều trên nhiều texture, khiến phương pháp này trở nên hiệu quả. KTX2 với hỗ trợ global data, mipmap, texture array và seek table là môi trường lưu trữ lý tưởng cho trọng số inference của MLP, với quá trình đào tạo ban đầu tập trung vào CUDA và fallback chậm cho CPU.

Bài này giải thích cách codec texture thần kinh phù hợp với định dạng KTX2 giúp lập trình viên tối ưu lưu trữ và xử lý texture hiệu quả.

Richard Geldreich's Blog: Neural block texture compression trained with Evolution Strategies (ES) on GitHub

A self-contained C++/CUDA research testbed trains neural block texture compression using Evolution Strategies (ES) instead of backpropagation or autodiff. Textures are encoded as a shared low-resolution latent plus a tiny MLP decoder, both optimized via antithetic ES with footprint attribution for variance reduction, plus optional finite-difference polishing. The write-up documents extensive experiments: nearest-sampled block latents, in-loop deblocking, a learned per-pixel selector level chosen by exhaustive search (forming a BC-style block format), multi-channel selectors, and a GPU implementation running 20-30x faster than 32 CPU threads on an RTX 5090. Results span single images (kodim23, mario), multi-layer PBR materials, and game textures, with detailed PSNR/bitrate tables comparing configurations against formats like BC1/BC7. The code and a timestamped disclosure of the technique are published on GitHub as prior art.

Richard Geldreich's Blog: Neural block texture compression with CUDA

An experimental neural block texture compressor implemented in roughly 850 lines of CUDA runs entirely on a GPU. It uses per-pixel selectors combined with a per-4x4-block latent, decoded by a tiny 1767-weight MLP, trained with evolutionary strategies (antithetic pairs plus finite differences) rather than backpropagation. On a single 1k image running on an RTX 5090 with CUDA 13.1, the method reaches 40.78 dB PSNR (40.71 dB after 8-bit latent quantization) at roughly 6 bpp raw / 5.54 bpp entropy-coded, completing 3000 training iterations in about 55 seconds.

Achieving Extreme Efficiency through Specialized GPU Kernel Generation

Learn how we built an agentic system that automates the generation and rigorous validation of specialized GPU kernels to achieve extreme inference efficiency.

PyTorch 2.14 Release Blog – PyTorch

PyTorch 2.14 ships with 2,995 commits from 487 contributors, headlined by NVGEMM (CuTeDSL-generated CUTLASS kernels with epilogue fusion for Inductor), a new nccl2 distributed backend ported from torchcomms with fault-tolerant process-group reconfiguration and one-sided RMA windows, and native linear algebra on Apple Silicon (SVD, eigh, QR, Cholesky). Compiler additions include torch.switch for multi-way branching, CUDA-graph-capturable torch.while_loop, and declarative dynamic shapes via @dynamic_spec shared across compile, export, and make_fx. Platform support expands with ROCm 7.14, Intel XPU native graph capture, Rubin (sm_107) targeting, and experimental torch.compile support for complex-valued tensors. Python 3.15 (including free-threaded 3.15t) gets eager-mode wheels, but torch.compile is not yet supported under 3.15 and raises a RuntimeError if invoked. TorchVision 0.29 is now ABI stable against future torch versions, decoupling its release cadence from PyTorch's.

Restore LLM Inference Capacity in Seconds with Shadow Engine Recovery in NVIDIA Dynamo

When an LLM engine process fails, the standard recovery path involves a cold restart. This requires loading weights into HBM from storage, compiling kernels…

CUDA Python 1.0: Stable APIs, One Foundation, Full Platform Access

For years, a Python developer who needed a GPU had two realistic choices: Learn NVIDIA CUDA C++ well enough to write an extension, set up a build toolchain…

Combining Photogrammetry Utilities Into A Simple GUI Tool

A developer named Edin Spiegel built the Simple Photogrammetry GUI, an open-source Flutter-based wrapper that combines tools like Colmap, OpenMVS, mvs-texturing, pymeshlab, brush and PoissonRecon to make photogrammetry and gaussian splatting accessible to artists without needing to juggle multiple command-line tools. It generates meshes with realistic textures from photos, relies on CUDA for fast processing (with a slower CPU fallback for non-Nvidia users), and offers a Linux AppImage (over 1GB) and a Windows ZIP (207MB for the v1.1.5 release). Linux support via Flutter is still somewhat rough, and the author is seeking testers and bug reports.

Can an LLM Forget the Right Things?

A project called vla-edge-backend implements a hand-written CUDA inference runtime designed for robotics vision-language-action workloads, where a hard 33ms control-loop deadline and fixed VRAM budget are treated as first-class constraints. It uses an admission controller (exponential moving average cost estimation) that refuses to start reasoning chunks it can't finish in time, a semantic KV cache eviction policy that evicts the most redundant frame by cosine similarity instead of the oldest, and a lock-free double buffer so a 60Hz camera never blocks on slower reasoning. The entire Qwen2.5-Coder-1.5B-Instruct transformer (RMSNorm, RoPE, grouped-query attention, SwiGLU) is written in raw CUDA with no cuBLAS or libtorch, validated against HuggingFace output at ≥0.999 cosine similarity. The author is explicit this is an architecture demonstration built on a cloud Hopper GPU, not a benchmarked edge deployment, and the transformer itself currently runs about 100x too slow for the deadline it targets.

Offloading Rust To GPUs Proves Capable Of High Performance With Memory Safety

Nghiên cứu từ nhóm tác giả sử dụng hạ tầng Offload của LLVM để chạy code Rust trên GPU, cho thấy hiệu năng cạnh tranh so với CUDA và HIP C++ dù tránh sử dụng raw pointers. Kết quả benchmark ghi nhận Rust thắng ở một số bài test nhưng thua ở những bài khác, với tiềm năng tối ưu thêm trong khâu sinh mã và IR. Việc hỗ trợ offload GPU cho Rust vẫn đang được theo dõi trên GitHub của Rust-lang.

Những lập trình viên quan tâm đến hiệu suất cao và an toàn bộ nhớ sẽ tìm hiểu cách Rust kết hợp với GPU thông qua LLVM Offload để thấy cách một ngôn ngữ hiện đại bảo vệ an toàn trong khi vẫn đạt được hiệu suất gần như tối ưu, mở rộng khả năng ứng dụng của họ.

State of Julia's GPU ecosystem in 2026

Năm 2026, hệ sinh thái lập trình GPU của Julia phát triển mạnh mẽ với nhiều thư viện chuyên dụng theo phần cứng (CUDA.jl, AMDGPU.jl, oneAPI.jl, Metal.jl) và trừu tượng không phụ thuộc phần cứng (GPUArrays.jl, Adapt.jl, KernelAbstractions.jl). Ngoài ra còn có các thư viện thuật toán song song cấp cao (Tullio.jl, TensorCast.jl), công cụ biên dịch toàn chương trình (Reactant.jl) và lập lịch tác vụ phân tán (Dagger.jl), hỗ trợ cả truy cập phần cứng trực tiếp lẫn tính di động.

Nếu bạn đang tìm kiếm cách tối ưu hóa hiệu suất cho các ứng dụng khoa học tính toán hoặc AI trên GPU, bài viết này sẽ giúp bạn hiểu rõ cách các công cụ và thư viện Julia hiện đại (với sự phát triển đến năm 2026) kết nối hardware đa dạng và cung cấp giải pháp linh hoạt từ cấp thấp đến cao, giúp bạn chọn lựa và tích hợp hiệu quả nhất cho dự án của mình.

I used my Nvidia GPU's VRAM as system swap, and it freed me from buying more memory

Cách tận dụng VRAM từ GPU Nvidia làm swap system giúp giải phóng bớt nhu cầu nâng cấp RAM cho laptop.

Lập trình viên nên đọc bài này để khám phá cách tối ưu hóa tài nguyên hệ thống bằng cách tái sử dụng VRAM của GPU như bộ nhớ swap, giúp tiết kiệm chi phí RAM vật lý và cải thiện hiệu suất cho các ứng dụng nặng như IDE, game hoặc render 3D.

Windows 11 can now run Linux containers without Docker, and I tested if WSL Containers could actually replace it

Windows 11 giờ đây có thể chạy Linux containers mà không cần Docker nhờ WSL Containers, và chúng hoạt động khá tốt cho các tác vụ phát triển.

Lập trình viên nên đọc bài này để khám phá cách WSL 2 đã tích hợp sẵn hỗ trợ container Linux trực tiếp trên Windows 11, giúp tiết kiệm thời gian thiết lập và tối ưu hóa hiệu suất cho các dự án phát triển đa nền tảng mà không cần phải cài đặt Docker thêm.

Adaptive Verification in vLLM: DSpark confidence-scheduled verification

vLLM giới thiệu phương pháp Adaptive Verification trong DSpark, điều chỉnh ngân sách xác minh (draft-verification) dựa trên confidence score của mỗi request thay vì xác minh mọi token được draft, nhằm duy trì cân bằng giữa throughput và độ trễ.

Là người phát triển AI hoặc muốn tối ưu hóa hiệu suất của mô hình ngôn ngữ lớn, bạn nên đọc bài này để hiểu cách tối ưu hóa kiểm tra tin cậy (verification) bằng cách điều chỉnh ngân sách cho mỗi yêu cầu dựa trên độ tin cậy dự kiến thay vì kiểm tra toàn bộ token dự thảo, giúp cải thiện hiệu suất và giảm chi phí tính toán.

AMD’s record quarter is really a bet that open beats Nvidia’s moat

AMD ghi nhận doanh thu kỷ lục 11,5 tỷ USD trong quý II nhờ doanh số bán hàng cho trung tâm dữ liệu tăng gấp đôi, nhưng chiến lược quan trọng của họ là dựa vào một hệ sinh thái phần mềm mở để cạnh tranh với sự thống trị của Nvidia thông qua nền tảng CUDA.

Lập trình viên nên đọc bài này để hiểu cách AMD đang xây dựng một hệ sinh thái phần mềm mở (open-source) mạnh mẽ, có thể thay thế và mở rộng khả năng của Nvidia trong các ứng dụng AI, gaming và cloud computing, giúp các nhà phát triển có nhiều lựa chọn hơn trong tương lai.

Measuring Performance of Transformer Inference

Bài viết hướng dẫn đo lường hiệu suất inference của mô hình Transformer thông qua các chỉ số quan trọng như TTFT, TPOT, throughput, và mức sử dụng bộ nhớ. Nó giải thích cách sử dụng bộ đếm thời gian wall-clock Python và sự kiện CUDA đúng cách, bao gồm warmup, đồng bộ GPU, và theo dõi đỉnh bộ nhớ, cũng như benchmarking các yêu cầu đồng thời và chiến lược multi-GPU.

Lập trình viên xây dựng mô hình AI cần đọc để tối ưu hóa hiệu suất inference từ các mô hình Transformer bằng cách hiểu cách đo chính xác thời gian, thông lượng, và chi phí tài nguyên—tránh sai lệch khi đo lường và lựa chọn chiến lược đa GPU hiệu quả.