#cuda

Advancing Semiconductor Innovation Across Materials Engineering and Manufacturing

Khối lượng công việc AI tăng cao đang thúc đẩy nhu cầu tính toán chưa từng có, buộc ngành bán dẫn phải đạt các mục tiêu hiệu suất vượt trội, ngay cả những chậm trễ nhỏ cũng có thể gây hậu quả nghiêm trọng.

Lập trình viên nên đọc bài này để hiểu cách AI và tính năng mới của chip (như GPU, TPU, hoặc các kiến trúc mới) ảnh hưởng trực tiếp đến hiệu suất và hiệu quả của ứng dụng phần mềm của họ, từ đó tối ưu hóa mã và chọn công nghệ phù hợp.

NVIDIA Video Codec SDK 13.1: Zero-Copy Transcode, AV1 B-Frames, and Frame-Accurate Seek

NVIDIA Video Codec SDK 13.1 bổ sung tính năng transcoding không sao chép (zero-copy), hỗ trợ B-Frames cho codec AV1 cùng khả năng seek chính xác khung hình, nhằm nâng cao hiệu suất và chất lượng video.

Lập trình viên chuyên phát triển giải pháp xử lý video nên đọc bài này để khám phá cách NVIDIA Video Codec SDK 13.1 tối ưu hóa hiệu suất zero-copy trong transcode và hỗ trợ AV1 B-frames, giúp cải thiện tốc độ xử lý và chất lượng cho ứng dụng video cao cấp.

A used Tesla V100 has quietly become the cheapest way to run local LLMs at home

Thẻ đồ họa Tesla V100 cũ từ trung tâm dữ liệu đang trở thành lựa chọn tiết kiệm nhất để chạy các mô hình ngôn ngữ lớn (LLMs) tại nhà nhờ hiệu năng cao và giá thành thấp.

Nếu bạn đang tìm cách tối ưu chi phí và hiệu suất cho các mô hình AI lớn tại nhà mà không cần đầu tư vào hardware mới, bài viết này sẽ chỉ cho bạn cách sử dụng card GPU cũ như Tesla V100 để chạy các mô hình LLM hiệu quả và tiết kiệm.

Your GPU Is a Kitchen With One Tiny Door

Bài viết phân tích sâu về kiến trúc GPU, giải thích tại sao quá trình sinh token cho LLM (Large Language Model) bị giới hạn bởi băng thông bộ nhớ (memory-bound) thay vì sức mạnh tính toán (compute-bound). GPU có cấu trúc vật lý gồm các SM (Streaming Multiprocessor), warp, SRAM/HBM, và cơ chế truyền lệnh từ Python qua GPU thông qua 'doorbell'. Mặc dù H100 có thể thực hiện ~600 phép toán mỗi lần truy xuất dữ liệu từ bộ nhớ, băng thông bộ nhớ vẫn là điểm nghẽn chính. Bài viết giới thiệu mô hình roofline và ba chế độ hoạt động của Horace He (compute-bound, memory-bound, overhead-bound), đồng thời chứng minh bằng số liệu rằng quá trình giải mã LLM chỉ đạt ~1 FLOP/byte, thấp hơn nhiều so với ngưỡng ~300 FLOPs/byte. Thí nghiệm thực tế sử dụng nvidia-smi dmon cũng minh họa sự khác biệt giữa các phép toán giới hạn bởi tính toán (matmul) và bộ nhớ (elementwise).

Lập trình viên cần đọc bài này để hiểu tại sao việc tối ưu hóa mô hình AI không chỉ phụ thuộc vào tính toán mạnh mẽ mà còn phụ thuộc vào cách quản lý bộ nhớ hiệu quả, giúp họ thiết kế và triển khai các ứng dụng LLM hiệu quả hơn.

AMD’s record quarter is really a bet that open beats Nvidia’s moat

AMD ghi nhận doanh thu kỷ lục 11,5 tỷ USD trong quý II nhờ doanh số bán hàng cho trung tâm dữ liệu tăng gấp đôi, nhưng chiến lược quan trọng của họ là dựa vào một hệ sinh thái phần mềm mở để cạnh tranh với sự thống trị của Nvidia thông qua nền tảng CUDA.

Lập trình viên nên đọc bài này để hiểu cách AMD đang xây dựng một hệ sinh thái phần mềm mở (open-source) mạnh mẽ, có thể thay thế và mở rộng khả năng của Nvidia trong các ứng dụng AI, gaming và cloud computing, giúp các nhà phát triển có nhiều lựa chọn hơn trong tương lai.

Measuring Performance of Transformer Inference

Bài viết hướng dẫn đo lường hiệu suất inference của mô hình Transformer thông qua các chỉ số quan trọng như TTFT, TPOT, throughput, và mức sử dụng bộ nhớ. Nó giải thích cách sử dụng bộ đếm thời gian wall-clock Python và sự kiện CUDA đúng cách, bao gồm warmup, đồng bộ GPU, và theo dõi đỉnh bộ nhớ, cũng như benchmarking các yêu cầu đồng thời và chiến lược multi-GPU.

Lập trình viên xây dựng mô hình AI cần đọc để tối ưu hóa hiệu suất inference từ các mô hình Transformer bằng cách hiểu cách đo chính xác thời gian, thông lượng, và chi phí tài nguyên—tránh sai lệch khi đo lường và lựa chọn chiến lược đa GPU hiệu quả.

GitHub - graham33/nixos-dgx-spark: Use Nix and NixOS on your DGX Spark!

Tận dụng Nix và NixOS trên thiết bị DGX Spark thông qua dự án mã nguồn mở graham33/nixos-dgx-spark trên GitHub.

Bạn nên đọc bài này vì Nix/NixOS có thể tối ưu hóa cấu hình hệ thống cho DGX Spark—công cụ mạnh mẽ cho AI/ML—tránh sự phức tạp của môi trường truyền thống bằng cách tự động hóa, tái sử dụng và quản lý các phụ thuộc chính xác.

Run High-Performance Core Math at Scale with NVIDIA nvmath-python

Thư viện NVIDIA nvmath-python kết nối cộng đồng khoa học Python với các thư viện toán học CUDA-X của NVIDIA, giúp người dùng Python khai thác hiệu suất tính toán song song quy mô lớn.

Lập trình viên chuyên về AI/ML hoặc xử lý dữ liệu lớn nên đọc vì nvmath-python giúp tối ưu hóa tính toán toán học cao hiệu suất trên GPU NVIDIA, giảm thời gian chạy và tăng hiệu năng cho các mô hình deep learning hoặc phân tích dữ liệu quy mô lớn.

Running Obscura on an NVIDIA GPU with Elixir, EXLA, and Lightning AI

Báo cáo thực nghiệm tái tạo nhằm xác thực Obscura, Nx và EXLA trên GPU NVIDIA Tesla T4 chạy Linux, dù không sở hữu phần cứng.

Lập trình viên muốn thử nghiệm và tối ưu hóa các công cụ AI như Obscura và EXLA trên GPU NVIDIA với Elixir mà không có thiết bị thực tế sẽ tìm hiểu cách tái tạo kết quả này trên máy ảo, giúp tiết kiệm chi phí và đảm bảo tính tái sản xuất cho dự án của mình.

From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon

K-Search chuyển giao chuyên môn lập trình kernel hàng thập kỷ từ CUDA sang MLX, giúp tối ưu hiệu suất AI trên Apple Silicon.

Lập trình viên AI cần hiểu cách chuyển giao kiến thức về kernel CUDA sang MLX để tối ưu hóa mô hình trên Apple Silicon, đặc biệt khi Apple đang đẩy mạnh tích hợp AI vào hệ sinh thái của mình.

Best of Both Worlds: Using a Gaming PC's RTX 5070 from a separate Linux workstation

I do all my development on a Linux box with no GPU. My RTX 5070 lives across the room in a Windows gaming machine. Rather than dual-booting or doing native Windows dev (no), I turned the gaming box into a headless Linux GPU server I can SSH into, and it still plays games. The setup

Learning FlashAttention the Hard Way

Bài viết "Learning FlashAttention the Hard Way" của Dmitry Trifonov trên ITNEXT chia sẻ kinh nghiệm thực tế khi triển khai FlashAttention, một kỹ thuật tối ưu hóa attention mechanism trong deep learning.

Lập trình viên chuyên về AI/ML nên đọc bài này để hiểu cách FlashAttention cải tiến hiệu suất gấp nhiều lần so với các giải pháp truyền thống trong xử lý attention layer, giúp tối ưu hóa mô hình lớn như LLMs hiệu quả hơn trong thực tế.

The AI Race Has A Translation Problem

Vào ngày 20/7/2026, TechCrunch đưa tin startup hạ tầng AI Infinity gọi vốn 15 triệu USD với định giá 100 triệu USD, có sự tham gia của nhà đầu tư Touring.

Lập trình viên nên đọc bài này để hiểu cách AI hiện nay xử lý ngôn ngữ không chỉ là kỹ thuật mà còn liên quan đến vấn đề lỗi dịch thuật trong mô hình ngôn ngữ, ảnh hưởng đến độ chính xác và tính toàn diện của các ứng dụng AI trong tương lai.

Geekbench Blog

Geekbench 7, the latest cross-platform benchmark from Primate Labs, is now available for Android, iOS, Windows, macOS, and Linux. Key additions include new media workloads covering AV1 video encoding, Opus audio compression, and Whisper-based live captioning. The multi-core benchmark has been redesigned to only run workloads in multi-threaded mode when real applications actually use multiple threads. The GPU benchmark gains a stronger focus on machine learning and content creation tasks, and CUDA is now supported alongside OpenCL, Vulkan, and Metal. Data sets across all workloads have been expanded to better reflect modern usage. Geekbench 7 is free for personal use, with a 20% launch discount on the Pro version until August 6.

Debugging Ray Tracing Applications Using NVIDIA OptiX Toolkit

NVIDIA OptiX là một framework giúp tối ưu hiệu suất ray tracing trên GPU, nhưng ứng dụng sử dụng OptiX vẫn có thể gặp lỗi trong quá trình phát triển.

Nếu bạn làm việc với ray tracing hoặc GPU, OptiX Toolkit từ NVIDIA là công cụ mạnh mẽ để tối ưu hiệu suất, nhưng hiểu cách debug lỗi trên OptiX sẽ giúp bạn giải quyết vấn đề hiệu quả khi ứng dụng gặp sự cố.

How To Build Your Own LLM Runtime From Scratch

Bài viết hướng dẫn chi tiết cách xây dựng một runtime inference LLM tùy chỉnh bằng CUDA từ đầu cho mô hình Qwen2.5-Coder-7B trên NVIDIA H100, bao gồm packing trọng số INT4 (.nanoqwen), paged KV cache, nhân attention chuyên biệt warp và capture đồ thị CUDA. Ba lỗi kỹ thuật quan trọng được phân tích: lỗi __syncthreads() gây hỏng softmax, launch kernel eager làm tăng độ trễ 119ms/token (giảm xuống ~17ms nhờ capture đồ thị), và INT8 quantization kém hơn FP16+prmt.b32 INT4 trên Hopper cho GEMV. Runtime đạt ~60 tok/s, thấp hơn llama.cpp (~200 tok/s) nhưng được xem như bài học thực hành chứ không phải sản phẩm cạnh tranh.

Lập trình viên muốn tối ưu hóa hiệu suất hoặc hiểu sâu về cơ chế hoạt động của các mô hình LLM trên GPU phải đọc bài này để khám phá cách xây dựng runtime từ gốc, từ việc xử lý các bug kỹ thuật đến việc áp dụng các kỹ thuật như CUDA graph và paged cache để cải thiện hiệu suất gấp nhiều lần.

Inference startup Infinity raises $15M from Touring Capital, OpenAI and Athropic researchers

Startup AI Infinity huy động 15 triệu USD từ Touring Capital, OpenAI và các nhà nghiên cứu của Anthropic, định giá công ty ở mức 100 triệu USD.

Lập trình viên nên đọc bài này để hiểu cách các startup AI hiện đại xây dựng hạ tầng công nghệ tiên tiến, từ đó tìm hiểu về các công nghệ mới như mô hình ngôn ngữ lớn, tối ưu hóa chi phí và cách ứng dụng trong thực tế.

Building Faster Cryptography with Carryless Multiplication in NVIDIA CUDA 13.3

Các CPU x86 đã tích hợp sẵn lệnh hardware carryless multiplication trong hơn 15 năm qua, đây là một phép toán nhỏ nhưng quan trọng trong lĩnh vực mật mã học.

Lập trình viên muốn tối ưu hóa hiệu suất cho các ứng dụng mật mã trên GPU NVIDIA, đặc biệt là khi xử lý các phép toán phức tạp như mã hóa/giải mã nhanh hơn với các thuật toán dựa trên nhân không mang (carryless multiplication).

Since 1987 – Covering the Fastest Computers in the World and the People Who Run Them

Spectral Compute, a London-based startup founded in 2018, has built SCALE — a drop-in replacement for Nvidia's NVCC CUDA compiler built on Clang and LLVM. Unlike tools such as AMD's HIPIFY, Intel's SYCLomatic, or ZLUDA, SCALE takes a clean-room reimplementation approach that preserves PTX support and delivers near-native performance on AMD GPUs, claiming up to 6x better performance than HIPIFY. The company targets hardware lock-in by enabling CUDA code to run on AMD GPUs, third-party AI accelerators, and even Nvidia GPUs with additional optimizations. With $6M raised, ~30 employees, Nvidia Inception membership, and upcoming PyTorch support, Spectral is positioning itself as a neutral bridge across the GPU ecosystem.

Kernel Fusion in NVIDIA CUDA: Optimizing Memory Traffic and Launch Overhead

Kernel fusion combines multiple GPU operations into a single device kernel to reduce global memory traffic and eliminate intermediate buffers. Using sum(abs(x)) as a running example, three fusion approaches are compared: manual CUDA C++ kernel fusion (full control, highest maintenance), implicit fusion via torch.compile (automatic but non-deterministic), and explicit fusion via cuda.compute using TransformIterator with reduce_into (Python ergonomics with deterministic, CUB-backed results). All three fused approaches achieve ~3x speedup over the naive two-kernel baseline by reducing memory traffic from 3 GiB to 1 GiB on an RTX 4090. The cuda.compute approach is highlighted as offering the best balance of productivity and predictability for Python developers.

I switched from Docker Desktop to WSL Containers, and I'm switching back

A developer shares their experience switching from Docker Desktop to the new WSL Containers preview (wslc.exe) on Windows 11. The switch went smoothly in several areas — containers start fast, localhost networking works via mirrored mode, and GPU pass-through for CUDA/RTX works with some workarounds. However, the lack of Docker Compose support in wslc proved to be a dealbreaker, forcing a return to Docker Desktop. The author still uses wslc for quick throwaway containers and GPU experiments, and notes VS Code Dev Containers has early wslc support.

A Practical Guide to GPU-Initiated Communication for Molecular Dynamics at Scale

GPU-to-GPU communication is a major bottleneck in GROMACS molecular dynamics simulations at scale, consuming over 50% of CPU wall time due to CPU-orchestrated MPI halo exchanges. This post details how replacing MPI with NVIDIA NVSHMEM enables GPU-initiated communication, eliminating CPU-GPU synchronization barriers. Four key techniques are covered: fusing all per-pulse pack/send/wait operations into a single kernel with dependency-aware atom partitioning, hierarchical release-scope atomics to minimize cross-GPU signaling overhead, NVLink-optimized direct peer memory stores using TMA async copy engines on Hopper GPUs, and a fallback RDMA path for InfiniBand clusters. Benchmarks on NVIDIA Eos (DGX H100 nodes) show up to 1.5x intra-node speedup and 2x on GB200 NVL72 NVLink clusters, with the largest gains on latency-bound small systems. The techniques generalize to any HPC application using domain-decomposed halo exchanges (CFD, astrophysics, lattice QCD).

France’s antitrust probe into Nvidia is nearing its end, regulator says

France's competition authority (Autorité de la concurrence) has signaled its antitrust investigation into Nvidia is nearly complete, potentially making France the first regulator globally to formally charge the chipmaker. The probe, which began with office raids in September 2023, centers on two concerns: Nvidia's CUDA software lock-in that ties AI developers to its GPUs, and its investments in cloud providers like CoreWeave that may further entrench its dominant position. Nvidia holds over 70% of AI accelerator sales. If found guilty of abusing a dominant position, Nvidia could face fines up to 10% of global annual turnover. The case is seen as a key test of whether traditional antitrust tools can regulate the AI hardware supply chain, with broader implications for European AI sovereignty.

Experience and Lessons Learned from Serving Multi-Stage Qwen3-Omni in vLLM-Omni

vLLM-Omni serves Qwen3-Omni as a three-stage pipeline (Thinker → Talker → Code2Wav) and applies a layered set of optimizations to improve throughput and latency for online speech generation workloads. The post walks through each optimization in order: stage decomposition with per-stage batching as the baseline, CUDA Graph capture per stage (yielding ~4× throughput jump), async chunk handoffs to pipeline inter-stage transfers (largest audio TTFP reduction, from 2790ms to 655ms), async output for non-blocking payload construction, stage replicas to scale only the bottleneck Talker/Code2Wav stages, and hot-path cleanup targeting per-step Python/allocation overhead. Combined, these bring throughput from 2.2 to 11.7 req/s at concurrency 64, audio TTFP from ~5884ms to ~632ms, and audio RTF from 1.15 to 0.47 — moving from above-real-time to comfortably below it.

How NVIDIA’s Inference Software Stack Powers the Lowest Token Cost

NVIDIA's full-stack inference software, codesigned with its GPU and networking hardware, is enabling companies like Baseten, Cognition, Deep Infra, Together AI, and Cursor to dramatically reduce cost per token in production AI workloads. On the Blackwell platform, the stack has cut token costs by up to 5x for DeepSeek V4 within a month. The stack operates across three layers — production orchestration, application acceleration, and infrastructure access — and when combined, techniques like disaggregated serving, NVFP4 precision, and multi-token prediction compound to deliver up to 20x throughput gains. The open source ecosystem, particularly PyTorch and CUDA-native frameworks like vLLM and SGLang, accelerates this further by enabling day-zero deployment of new frontier models on Blackwell hardware.

ZLUDA v6 Gets PhysX Running Well On AMD GPUs But Loses Commercial Funding

ZLUDA v6 has been released, bringing PhysX support for older games on AMD GPUs, texture support, and improved Windows compatibility. However, the project has lost its commercial funding from an unnamed backer, reverting it to a weekend side project for lead developer Andrzej Janik. While some machine learning improvements are included, the focus has shifted away from AI/ML toward gaming use cases like PhysX. The release demonstrates promising benchmark results, such as improved performance in Mafia II on AMD hardware.

3 Agents. 3 LLMs. 1 Aging GPU: Engineering Parallel Inference on Bare Metal

Running three different LLMs simultaneously on a single 8GB GPU fails because llama.cpp pre-allocates the full KV cache upfront, causing OOM errors for the second and third processes. The solution is a C++ daemon called lmxd that implements Connection Admission Control (borrowed from 5G/telecom) as a VRAM ledger: it tracks allocated bytes, enforces a 90% cap, and refuses new agent registrations before any GPU allocation is attempted. The daemon also handles KV-cache swapping to host RAM between agent switches, enabling multiple agents to share one GPU context slot. Additionally, a layer streaming technique using two CUDA streams overlaps compute and weight transfer, achieving ~22-32% wall-clock savings on a GTX 1080. The repo ships the admission control daemon and the streaming primitive as separate, composable components.

Accelerating BEV Pooling on NVIDIA GPUs for Physical AI Applications

BEVPoolV3 is a new CUDA kernel optimization for bird's-eye-view (BEV) pooling used in autonomous vehicles and robotics. The post walks through a practical GPU optimization workflow: classify whether the working set fits in L2 cache, remove redundant scatter traffic via a five-array INT32 scatter map, implement interval-owned scatter-reduce to avoid atomics, and validate with NVIDIA Nsight Compute. On RTX PRO 6000 Blackwell Max-Q (large L2), BEVPoolV3 FP8 achieves up to 42x speedup over the V2 baseline. On RTX A6000 (small L2, DRAM-bound), the adapted FP16 path reaches 19x speedup. The post also explains why FP8 outperforms NVFP4 for L2-resident scatter-reduce workloads, and how the same methodology applies to sparse embeddings, voxelization, and other irregular memory-bound kernels.

Buying an AMD GPU instead of Nvidia? — You're sacrificing more than just ray tracing performance

AMD's GPU market share has collapsed from 36% in 2018 to just 5% by end of 2025. Beyond ray tracing, AMD users face real compromises: Nvidia's DLSS suite (including Multi Frame Generation, Ray Reconstruction, and Dynamic Frame Generation) still leads FSR in image quality, game support (97% vs 72%), and backward compatibility. For AI workloads, CUDA remains the dominant platform with better day-one library support over AMD's ROCm. Creative professionals using Adobe Premiere, After Effects, or Blender also benefit from Nvidia's CUDA acceleration and NVENC encoder quality. AMD has closed gaps significantly, especially with RDNA 4 and FSR 4.1, but Nvidia retains a genuine lead across gaming, AI, and creative software ecosystems.

ParallelKernelBench: Frontier LLMs can't write fast multi-GPU kernels (yet)

ParallelKernelBench (PKB) is a new benchmark testing whether frontier LLMs can write optimized multi-GPU CUDA kernels across 87 real-world workloads. Results show significant gaps: the best model (zero-shot) solves only 28 of 87 problems correctly, with just 22 beating the PyTorch+NCCL baseline. Models struggle with rank coordination, data partitioning, and choosing optimal GPU-to-GPU transfer mechanisms like TMA and NVLS. An agentic feedback loop with Gemini 3 Pro improved results modestly (35 correct, 26 faster-than-baseline) but plateaued after ~20 refinement steps. Despite poor overall performance, a few generated kernels — for NeMo-RL GRPO, Hyena context parallelism, and SAM 3 mask suppression — outperformed any publicly available implementation. PKB is released as an open benchmark to drive further research into LLM-driven distributed kernel optimization.

Building a custom Red Hat Enterprise Linux kernel for NVIDIA DGX Spark

A step-by-step guide for building a custom RHEL 10 kernel and NVIDIA GPU driver from source to enable compatibility with the NVIDIA DGX Spark (GB10 Grace Blackwell Superchip) platform. Covers cloning the RHEL 10 kernel repo customized for GB10, installing build dependencies, compiling kernel RPMs (kernel-64k variant for ARM64), creating an RPM spec file for NVIDIA open-source kernel modules, building and installing the GPU driver RPM, installing CUDA via the NVIDIA repo and EPEL, and handling kernel updates via git reset. Intended as a Developer Preview workflow, not for production use.