#gpu

Linux 7.4-rc2 Released With FAT32 Optimization, AMDGPU HDMI 2.2 Improvement

Linus Torvalds released Linux 7.4-rc2, calling it a big rc2 following the largest ever rc1. The release includes a notable FAT32 performance improvement, especially for synchronous mounts, AMDGPU driver fixes for HDMI 2.2 FRL, and numerous fixes for long-standing core memory management bugs. Torvalds noted the diffstat looks benign and is largely driven by automated coccinelle script updates that add noise, and that AI-generated fixes and bug reports continue to pour in. He said Alexei claims fixes on the bpf side are now coming in faster than new reports. Linux 7.4 is aiming for a stable release around the end of December.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với tốc độ đáng kinh ngạc. Nguyên nhân kỹ thuật nằm ở việc chỉnh sửa cờ n_gpu_layers trong llama.cpp, cho phép tận dụng hiệu quả bộ nhớ VRAM thay vì để nó trở thành điểm nghẽn. Hệ quả là model 35B parameters chạy nhanh đến mức người dùng không kịp theo dõi, vượt xa các kỳ vọng ban đầu về giới hạn phần cứng. Điều đáng học hỏi là đôi khi vấn đề không nằm ở cấu hình phần cứng mà ở cách tối ưu hóa phần mềm để khai thác tiềm năng thực sự của hardware.

Bài viết tiết lộ cách tối ưu hóa một cờ trong llama.cpp để chạy mô hình 35B trên GPU 8GB nhanh hơn tốc độ đọc của bạn.

Why Other Requests Change Your LLM’s Output

+ an update on Harness Engineering 2.0.

Why Temperature 0 Isn't Deterministic in LLM Inference

Trong quá trình inference của LLM, temperature 0 không hoàn toàn quyết định như nhiều người vẫn nghĩ. Nguyên nhân kỹ thuật nằm ở cách thuật toán softmax hoạt động khi temperature bằng 0, làm cho xác suất của từ với highest score tiến tới 1 nhưng không bao giờ đạt hoàn toàn 1 trong thực tế. Điều này dẫn đến kết quả có vẻ ngẫu nhiên dù xác suất đã được chuẩn hóa, gây ra sự không chắc chắn nhỏ trong kết quả output. Điều đáng học là việc hiểu behavior của temperature trong LLM không đơn giản như tưởng tượng, đòi hỏi hiểu biết sâu về cách hoạt động của softmax và quy trình sampling text generation.

Bạn nên đọc bài này để hiểu cách giải quyết một vấn đề cơ bản nhưng thường bị nhầm lẫn trong việc phân tích và tối ưu hóa mô hình ngôn ngữ lớn, giúp tránh sai lầm trong việc thiết kế và triển khai hệ thống AI.

Nvidia Kubernetes Engine (NVKE)

NVIDIA Kubernetes Engine (NVKE). A management plane for GPU Kubernetes on bare metal. - dsx-ai-factory/nvke

I spent $500 to upgrade my aging gaming PC, and it beat buying a new one

A high-end GPU, a modern CPU, and 32GB of RAM

Colab is now part of your Google AI plan

Google vừa tích hợp Colab vào Google AI plan, mang lại lợi ích cao cấp cho người đăng ký. Các lập trình viên giờ đây có truy cập vào faster accelerators và Premium GPUs để tăng tốc độ xử lý. Đặc biệt, tính năng uninterrupted background execution cho phép chạy training kéo dài mà không bị gián đoạn. Đây là bước đi chiến lược giúp Google củng cố vị thế trong việc cung cấp công cụ AI cho nhà phát triển.

Bài viết giúp lập trình viên biết cách tận dụng Colab trong Google AI plan với các tính năng cao cấp để tăng tốc độ và hiệu quả công việc AI.

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. Công ty đang phát triển hai hướng tiếp cận riêng cho CUDA Rust, cạnh tranh với các công cụ trưởng thành như CUDA C++ và CUDA Python. Việc này giải quyết nhu cầu về ngôn ngữ an toàn bộ nhớ hơn cho lập trình GPU, vốn hiện chủ yếu dựa vào C++. Lập trình viên nên cân nhắc track phù hợp giữa Rust CUDA Compiler (RCC) và Rust-CUDA crate tùy thuộc vào nhu cầu dự án. Sự phát triển này đánh dấu bước tiến quan trọng khi Rust đang dần trở thành lựa chọn thay thế cho C++ trong các hệ thống hiệu năng cao.

Bài này giúp lập trình viên Rust nắm bắt hướng đi mới của NVIDIA cho lập trình GPU native.

5 GPUs that are finally too old for modern games in 2026

Every good thing must come to an end

I challenged our new tool to build a gaming PC for less than $1,000, and it surprised me with the results

XDB Builder helps you plan your next build or upgrade

EP231: AI Terms You Need to Know

What else should be on the list?

I tested Nvidia’s Nemotron 3.5 Bolt, and it changed what I thought my 16GB GPU could do

A 16GB GPU can run agentic AI now, and it's surreal

Equal Cost Is a Lie: The Strange Physics of GPU Traffic

Trong môi trường GPU cluster, khái niệm Equal Cost Multi-path (ECMP) dẫn đến hiệu năng không đồng đều do hiện tượng hash collision. Các nghiên cứu chỉ ra khi có 4 GPU, xác suất collision lên tới 16.67%, và với 8 GPU con số này tăng lên 50%. Vấn đề này gây ra hiện tượng GPU overload trong khi các GPU khác còn nhàn rỗi, giảm tổng hiệu năng hệ thống xuống chỉ còn 60-70% so với tiềm năng thực. Giải pháp hiệu quả là sử dụng một hash function không đồng đều (non-uniform hashing) hoặc kỹ thuật consistent hashing để phân bổ tải hợp lý hơn, giúp cải thiện hiệu suất hệ thống lên tới 30%.

Bài này giải thích hiện tượng giao thông GPU và tác động của nó đến hiệu năng mạng của lập trình viên.

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

Tôi từng học sơ lược về RISC và CISC ở đại học nhưng giờ hầu như quên hết.

Nếu bạn đang phát triển ứng dụng AI hoặc xử lý dữ liệu lớn, hiểu rõ sự khác biệt giữa kiến trúc RISC và CISC sẽ giúp bạn tối ưu hiệu suất và lựa chọn thiết bị (TPU, GPU, CPU) phù hợp với công việc của mình.

Upstreaming Tyr: Rust, DRM, and the Linux Kernel (Collabora)

Collabora cập nhật về Tyr, driver cho GPU Arm Mali. Team đã viết lại Tyr nhiều lần để thích ứng với hệ sinh thái Rust lớn hơn khi các trừu tượng kernel Rust và interface driver liên tục phát triển. Các khả năng như lập lịch công việc bị đình trệ trong khi các trừu tượng này được thiết kế, xem xét, kiểm tra và merge upstream. Collabora coi đây là giá trị: với tư cách người dùng các trừu tượng Rust mới, Tyr giúp lộ ra yêu cầu và hạn chế của chúng.

Bài viết này giúp lập trình viên hiểu được thách thức và giá trị khi đưa mã Rust vào kernel Linux qua dự án driver Tyr cho GPU Mali.

Jellyfin supports 7 hardware transcoding methods — here's which one your server can use

Jellyfin hiện hỗ trợ 7 phương pháp transcoding phần cứng khác nhau, giúp giảm tải cho CPU của server. Nguyên nhân kỹ thuật là do Jellyfin tích hợp với các API như NVIDIA NVENC, AMD VCE và Intel Quick Sync để tận dụng khả năng mã hóa/hủy mã hóa của bộ xử lý đồ họa. Hệ quả là server có thể xử lý nhiều luồng media hơn với nhiệt độ và tiêu thụ năng lượng thấp hơn. Điều đáng học là bạn có thể tối ưu hóa hiệu năng Jellyfin bằng cách kiểm tra transcoding method đang được sử dụng và cấu hình phù hợp với phần cứng của mình.

Bài viết này giúp bạn xác định phương pháp chuyển mã hardware tối ưu nhất cho server Jellyfin, giảm tải cho CPU và tăng hiệu suất phát lại.

AI On Your Gaming PC

Strata cho phép mô hình LLM 125 tỷ tham số chạy trên phần cứng gaming-grade với sự hỗ trợ của Qwen3.8 mixture-of-experts 24,576 chuyên gia chỉ kích hoạt 10 chuyên gia mỗi token. VRAM hoạt động như cache cho chuyên gia được sử dụng thường xuyên, phần lớn mô hình nằm trong RAM, và bảng tra cứu 29 GB nằm trên SSD. Kỹ thuật speculative decoding giúp đạt tốc độ 50-90 token/giây trên RTX 5070 12 GB VRAM. Dù có API tương thích OpenAI và Anthropic, chất lượng trả lời còn hạn chế so với các mô hình lớn hơn, với yêu cầu thực tế khoảng 32 GB RAM, 12 GB VRAM và 80 GB lưu trữ.

Bài viết này giúp bạn hiểu cách triển khai AI quy mô lớn trên máy tính cá nhân mà không cần GPU chuyên dụng từ trung tâm dữ liệu.

GPU-unlock: FP/BF16 instruction issue rate on Nvidia 3000's cards

Bối cảnh của bài viết trình bày dự án GPU-unlock nhằm giải quyết hạn chế về tốc độ thực thi FP/BF16 instruction trên card Nvidia 3000 series. Nguyên nhân kỹ thuật là Nvidia đã giới hạn tốc độ xử lý các instruction này trên card consumer so với card chuyên nghiệp. Hệ quả dự án này giúp tăng hiệu suất tính toán lên đến 45% cho các tác vụ sử dụng FP/BF16, tương đương với card chuyên nghiệp cùng dòng. Điều đáng học là bằng cách thay đổi firmware GPU, lập trình viên có thể khai thác tiềm năng phần cứng bị khóa mà không cần nâng cấp phần cứng.

Bài viết này giải thích cách mở khóa tỷ lệ lệnh FP/BF16 trên card Nvidia 3000 để đạt hiệu năng tương đương phiên bản chuyên nghiệp.

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

MoE models changed what "fits on my GPU" means, and most hardware advice hasn't caught up

Bối cảnh: Các mô hình Mixture of Experts (MoE) đã thay đổi hoàn toàn khái niệm "mô hình nào có thể chạy được trên GPU của tôi" khi một chiếc GPU 10 năm tuổi nay có thể xử lý được các mô hình ngôn ngữ lớn (LLM) lên tới 26 tỷ tham số. Nguyên nhân kỹ thuật: MoE hoạt động bằng cách chỉ kích hoạt một phần các chuyên gia (experts) trong mô hình cho mỗi token đầu vào, giảm đáng kể lượng tính toán cần thiết so với các mô hình dense truyền thống. Hệ quả: Phần lớn tư vấn phần cứng hiện tại vẫn chưa cập nhật thực tế này, dẫn đến khuyến nghị không cần thiết nâng cấp phần cứng. Điều đáng học: Người dùng có thể tận dụng hiệu quả phần cứng hiện có để chạy các mô hình lớn hơn nhiều so với khả năng lý thuyết, miễn là các mô hình hỗ trợ kiến trúc MoE.

MoE models đã thay đổi hoàn toàn cách bạn có thể chạy các mô hình ngôn ngữ lớn ngay cả trên phần cứng cũ như GPU 10 năm tuổi.

TornadoVM 7 Enables GPU-Native Workloads From Java Applications

TornadoVM 7 cho phép Java tận dụng GPU mà không cần code thủ công. Framework này tự động tối ưu hóa code Java cho cả CPU đa nhân và GPU. Phiên bản mới hỗ trợ đầy đủ GPU programming với tính năng mới là GPU-native workloads. TornadoVM giúp lập trình viên Java khai thác sức mạnh xử lý song song của GPU mà không cần học ngôn ngữ GPU-specific như CUDA hay OpenCL.

TornadoVM 7 cho phép lập trình viên Java tận dụng hiệu suất GPU mà không cần viết code phức tạp.

3 PC parts you should buy right now instead of waiting for better prices

Có thể chúng ta đang trong giai đoạn ngắn trước khi giá PC parts tăng trở lại.

Lập trình viên nên đọc bài này để cập nhật các bộ phận máy tính hiện tại có giá tốt nhất trước khi giá tăng, giúp họ tối ưu hóa chi phí xây dựng hệ thống hiệu quả ngay khi có cơ hội.

Architecting scalable, agentic biotech workloads

Các workload sinh học (biotech workloads) là các mô phỏng đòi hỏi GPU chuyên dụng và duy trì trạng thái liên tục, cần cách tiếp cận đặc biệt cho AI agent. Sự khác biệt này đến từ yêu cầu tính toán cường độ cao trên silicon chuyên dụng. Hệ quả là các kiến trúc truyền thống không đáp ứng được nhu cầu hiệu năng. Điều đáng học là cần thiết kế hệ thống với kiến trúc riêng biệt cho biotech AI, cân bằng giữa tính stateful và khả năng mở rộng.

Bài này giúp lập trình viên thiết kế kiến trúc hiệu quả cho các tác vụ sinh học đòi hỏi GPU mạnh và trạng thái liên tục.

AI Models in 2026: The Leaderboards Are Lying — Here’s the 30-Minute Test That Isn’t

Vào tháng 10 năm 2026, các leaderboard AI đang đánh giá sai hiệu suất thực tế của các model như GPT-5, Claude 3 và Gemini Ultra. Nguyên nhân là do các bài test này tập trung vào độ chính xác trên tập dữ liệu tiêu chuẩn thay vì đánh giá khả năng xử lý task thực tế. Hệ quả là nhiều doanh nghiệp chọn sai model, dẫn đến tốn kém tài nguyên và giảm hiệu suất sản phẩm. Bài đề xuất giải pháp M.O.D.E.L Test - một phương pháp đánh giá chỉ trong 30 phút giúp xác định model phù hợp nhất cho từng use case cụ thể. Lập trình viên nên áp dụng M.O.D.E.L Test để tiết kiệm thời gian và chọn được model tối ưu cho dự án của mình.

Bài viết tiết lộ phương pháp kiểm tra 30 phút M.O.D.E.L. giúp bạn chọn được mô hình AI phù hợp thay vì bị đánh lừa bởi bảng xếp hạng giả tạo.

OpenAI and Broadcom build a chip to rival Nvidia’s Blackwell

OpenAI và Broadcom hợp tác phát triển chip AI tùy chỉnh Jalapeño nhằm cạnh tranh với Nvidia Blackwell và Google TPU, nhắm vào workloads inference. Chip này đã được thử nghiệm với mô hình GPT-5.3-Codex-Spark và dự kiến triển khai vào cuối năm 2025, trong khi tình trạng thiếu hụt HBM đang ảnh hưởng đến biên lợi nhuận của Broadcom.

Lập trình viên nên đọc bài này để hiểu cách các công ty lớn như OpenAI và Broadcom hợp tác phát triển chip AI chuyên dụng, giúp tối ưu hóa hiệu suất cho các mô hình lớn như GPT-5.3, ảnh hưởng trực tiếp đến hiệu năng và chi phí của các ứng dụng AI trong tương lai.

Super Micro case ‘fixer’ pleads guilty to sending AI servers to China

Ting-Wei Sun đã nhận tội trong một kế hoạch trị giá 2.5 tỷ đô la nhằm chuyển hướng máy chủ AI trang bị Nvidia sang Trung Quốc. Kế hoạch này liên quan đến việc sửa đổi vỏ máy chủ Super Micro để che giấu thông tin nhạy cảm. Hậu quả là công ty Super Micro, đồng sáng lập Wally Liaw đang đối mặt với các cáo buộc nghiêm trọng. Vụ việc cho thấy những lỗ hổng an ninh trong chuỗi cung ứng công nghệ cao. Người làm kỹ thuật nên học cách kiểm tra kỹ lưỡng phần cứng và bảo mật thiết bị trước khi triển khai.

Vụ án này cảnh báo lập trình viên về rủi ro pháp lý khi chuyển giao công nghệ AI sang các thị trường hạn chế.

Amazon ECS now auto-repairs failing GPUs and instances. Here’s why it matters for SREs.

Amazon ECS vừa triển khai tính năng tự động sửa chữa GPU và instance lỗi, giúp giảm thiểu sự cố và đơn giản hóa khả năng chịu lỗi cho ứng dụng đám mây đối với SREs. Tính năng này sử dụng Health Check để phát hiện GPU hoặc instance không phản hồi trong vòng 5 phút. Khi phát hiện lỗi, ECS sẽ tự động khởi động lại container hoặc thay thế instance mà không cần can thiệp thủ công. Giải pháp này đặc biệt quan trọng với các workload sử dụng GPU đòi hỏi tính ổn định cao như machine learning. SREs có thể tiết kiệm thời gian phản hồi sự cố và giảm chi phí vận hành nhờ tính năng tự động sửa chữa mới này.

Tính năng tự động sửa chữa của Amazon ECS giúp giảm thiểu thời gian chết và tăng cường độ ổn định cho các ứng dụng sử dụng GPU.

Control How Your GPU Shares Work with Green Contexts

GPU ngày càng phải xử lý nhiều thành phần độc lập trong cùng một process, với các operator nhạy cảm độ trễ và các tác vụ heavy-weight chạy song song. Vấn đề nảy sinh khi GPU scheduler hiện tại (như CUDA's Concurrent Kernel Execution) không phân biệt rõ rệt giữa các context, dẫn đến tình trạng operator nhạy cảm độ trễ bị block bởi các tác vụ nặng. Hệ quả là hiệu năng của các ứng dụng real-time giảm đáng kể, có thể lên đến 30-40% độ trễ tăng thêm. Green Contexts là giải pháp từ Microsoft Research cho phép lập trình viên tách biệt các tác vụ thành các context ưu tiên khác nhau, qua đó kiểm soát chính xác GPU allocation và cải thiện đáng kể hiệu năng cho các ứng dụng đa thành phần.

Bài viết này giúp lập trình viên tối ưu hóa hiệu suất GPU bằng cách kiểm soát cách chia sẻ công việc giữa các thành phần khác nhau trong cùng một tiến trình.

The AI memory crisis just hit DDR2, a standard from 2003, with 60% price hikes

Giá DDR2 tăng 55-60% trong Q2/2026 do thiếu hụt DRAM trầm trọng khi các nhà sản xuất chuyển sản lượng wafer sang sản xuất HBM cho AI, dự báo tiếp tục tăng 35-40% trong Q3. Các hãng phần cứng buộc phải hạ cấp từ DDR4 xuống DDR3, rồi DDR3 xuống DDR2 để đảm bảo nguồn cung, ảnh hưởng đến hệ thống nhúng, thiết bị công nghiệp và mạng. Nguồn cung DDR2 không thể cải thiện trước năm 2027-2028 khi các nhà máy mới của SK Hynix và Micron đi vào hoạt động.

Lập trình viên nên đọc bài này vì nó giúp bạn hiểu rõ về những thách thức về nguồn cung cấp bộ nhớ DDR2, ảnh hưởng đến thiết kế phần cứng cho các ứng dụng embedded và hệ thống AI, từ đó có thể tối ưu hóa kiến trúc phần mềm và dự đoán chi phí phát triển sản phẩm trong tương lai.

I tried out DLSS 5 on my old Wii game collection, and it looks just as weird as you'd imagine

Bối cảnh là việc thử nghiệm DLSS 5 trên bộ sưu tập game cũ Wii. Nguyên nhân kỹ thuật do DLSS 5 là công nghệ AI upscale sử dụng mạng thần kinh deep learning, áp dụng vào các game không được thiết kế cho nó. Hệ quả là hình ảnh trở nên kỳ lạ với texture méo mó, màu sắc không chính xác và hiệu ứng quang học bị phá vỡ. Điều đáng học là việc lạm dụng AI rendering có thể tạo ra kết quả bất ngờ, cho thấy ranh giới giữa cải thiện hình ảnh và phá vỡ thiết kế đồ họa gốc của game.

Bài viết này sẽ cho bạn thấy neural rendering khi được áp dụng một cách không phù hợp có thể tạo ra những kết quả kỳ quặc đến mức khó tin.

Nvidia's DGX Spark is getting a 64GB RAM variant to make running local models more affordable

Nvidia đang ra mắt biến thể DGX Spark với 64GB RAM để giảm chi phí chạy local model. Việc tăng dung lượng RAM cho phép model lớn hơn hoạt động hiệu quả hơn trên thiết bị endpoint. Người dùng có thể kết hợp nhiều DGX Spark thành một hệ thống thống nhất để xử lý các tác vụ AI phức tạp hơn. Đây là bước tiến quan trọng giúp AI có tính di động cao hơn mà không phụ thuộc vào cloud computing.

Tìm hiểu về biến thể RAM 64GB của Nvidia's DGX Spark giúp lập trình viên triển khai mô hình địa phương dễ dàng và tiết kiệm chi phí hơn.

Germany and the Netherlands put €40M into using AI to design AI chips

Châu Âu đang đẩy mạnh đầu tư vào AI chip với dự án trị giá 40 triệu euro từ SPRIND và NADI. Thách thức này nhằm rút ngắn thời gian thiết kế AI chip từ vài năm xuống chỉ còn vài tuần. Giải pháp sử dụng AI để tự động hóa các quy trình thiết kế phức tạp trên các công nghệ như TSMC 7nm và 5nm. Dự án này có thể thay đổi hoàn toàn ngành công nghiệp chip, tạo ra các con chip AI hiệu quả hơn với chi phí phát triển thấp hơn. Đây là bước tiến quan trọng mà các lập trình viên nên theo dõi vì nó sẽ ảnh hưởng đến hiệu năng và khả năng tiếp cận của các hệ thống AI trong tương lai.

Lập trình viên nên đọc bài này để cập nhật xu hướng AI chip design đang được đầu tư mạnh mẽ ở châu Âu.

My GTX 1080 Ti still runs everything I play, and these are the settings that keep it going in 2026

I think I can squeeze a couple more years out of it.

Nvidia has a new way to reduce shader stutters after driver updates, but it's disabled by default

It doesn't work all the time, but it's still progress.

Your GPU hotspot temperature can reveal a thermal paste problem that regular temperatures won't

But MSI Afterburner won't show you this metric.

I put together a tiny gaming PC build without compromising on performance

Going smaller doesn't necessarily make your PC weaker

Acer's Predator Orion gaming PC with an Intel Core Ultra 7 and RTX 5060 Ti is $400 off

Just plug in and start playing

Claude blamed my RTX 5080’s VRAM for crashes, but the real culprit was far more surprising

AI troubleshooting almost convinced me that my GPU was faulty

Safe and Efficient Multi-Epoch Embedding Training

Safe and Efficient Multi-Epoch Embedding Training Authors: Shruthi Hariharan | Machine Learning Engineer II; Konish Dutta | Machine Learning Engineer II; Abhinav Naikawadi | Sr. Machine Learning …

How Snorkel runs realistic agent simulations with Modal

Modal powers inference for the open-weight models that Snorkel is evaluating as well as GPU and CPU sandboxes for millions of simulations per month.