From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon

A used Tesla V100 has quietly become the cheapest way to run local LLMs at home

Thẻ đồ họa Tesla V100 cũ từ trung tâm dữ liệu đang trở thành lựa chọn tiết kiệm nhất để chạy các mô hình ngôn ngữ lớn (LLMs) tại nhà nhờ hiệu năng cao và giá thành thấp.

Nếu bạn đang tìm cách tối ưu chi phí và hiệu suất cho các mô hình AI lớn tại nhà mà không cần đầu tư vào hardware mới, bài viết này sẽ chỉ cho bạn cách sử dụng card GPU cũ như Tesla V100 để chạy các mô hình LLM hiệu quả và tiết kiệm.

Advancing Semiconductor Innovation Across Materials Engineering and Manufacturing

Khối lượng công việc AI tăng cao đang thúc đẩy nhu cầu tính toán chưa từng có, buộc ngành bán dẫn phải đạt các mục tiêu hiệu suất vượt trội, ngay cả những chậm trễ nhỏ cũng có thể gây hậu quả nghiêm trọng.

Lập trình viên nên đọc bài này để hiểu cách AI và tính năng mới của chip (như GPU, TPU, hoặc các kiến trúc mới) ảnh hưởng trực tiếp đến hiệu suất và hiệu quả của ứng dụng phần mềm của họ, từ đó tối ưu hóa mã và chọn công nghệ phù hợp.

Your GPU Is a Kitchen With One Tiny Door

Bài viết phân tích sâu về kiến trúc GPU, giải thích tại sao quá trình sinh token cho LLM (Large Language Model) bị giới hạn bởi băng thông bộ nhớ (memory-bound) thay vì sức mạnh tính toán (compute-bound). GPU có cấu trúc vật lý gồm các SM (Streaming Multiprocessor), warp, SRAM/HBM, và cơ chế truyền lệnh từ Python qua GPU thông qua 'doorbell'. Mặc dù H100 có thể thực hiện ~600 phép toán mỗi lần truy xuất dữ liệu từ bộ nhớ, băng thông bộ nhớ vẫn là điểm nghẽn chính. Bài viết giới thiệu mô hình roofline và ba chế độ hoạt động của Horace He (compute-bound, memory-bound, overhead-bound), đồng thời chứng minh bằng số liệu rằng quá trình giải mã LLM chỉ đạt ~1 FLOP/byte, thấp hơn nhiều so với ngưỡng ~300 FLOPs/byte. Thí nghiệm thực tế sử dụng nvidia-smi dmon cũng minh họa sự khác biệt giữa các phép toán giới hạn bởi tính toán (matmul) và bộ nhớ (elementwise).

Lập trình viên cần đọc bài này để hiểu tại sao việc tối ưu hóa mô hình AI không chỉ phụ thuộc vào tính toán mạnh mẽ mà còn phụ thuộc vào cách quản lý bộ nhớ hiệu quả, giúp họ thiết kế và triển khai các ứng dụng LLM hiệu quả hơn.

Geekbench Blog

Geekbench 7, the latest cross-platform benchmark from Primate Labs, is now available for Android, iOS, Windows, macOS, and Linux. Key additions include new media workloads covering AV1 video encoding, Opus audio compression, and Whisper-based live captioning. The multi-core benchmark has been redesigned to only run workloads in multi-threaded mode when real applications actually use multiple threads. The GPU benchmark gains a stronger focus on machine learning and content creation tasks, and CUDA is now supported alongside OpenCL, Vulkan, and Metal. Data sets across all workloads have been expanded to better reflect modern usage. Geekbench 7 is free for personal use, with a 20% launch discount on the Pro version until August 6.

The AI Race Has A Translation Problem

Vào ngày 20/7/2026, TechCrunch đưa tin startup hạ tầng AI Infinity gọi vốn 15 triệu USD với định giá 100 triệu USD, có sự tham gia của nhà đầu tư Touring.

Lập trình viên nên đọc bài này để hiểu cách AI hiện nay xử lý ngôn ngữ không chỉ là kỹ thuật mà còn liên quan đến vấn đề lỗi dịch thuật trong mô hình ngôn ngữ, ảnh hưởng đến độ chính xác và tính toàn diện của các ứng dụng AI trong tương lai.

How To Build Your Own LLM Runtime From Scratch

Bài viết hướng dẫn chi tiết cách xây dựng một runtime inference LLM tùy chỉnh bằng CUDA từ đầu cho mô hình Qwen2.5-Coder-7B trên NVIDIA H100, bao gồm packing trọng số INT4 (.nanoqwen), paged KV cache, nhân attention chuyên biệt warp và capture đồ thị CUDA. Ba lỗi kỹ thuật quan trọng được phân tích: lỗi __syncthreads() gây hỏng softmax, launch kernel eager làm tăng độ trễ 119ms/token (giảm xuống ~17ms nhờ capture đồ thị), và INT8 quantization kém hơn FP16+prmt.b32 INT4 trên Hopper cho GEMV. Runtime đạt ~60 tok/s, thấp hơn llama.cpp (~200 tok/s) nhưng được xem như bài học thực hành chứ không phải sản phẩm cạnh tranh.

Lập trình viên muốn tối ưu hóa hiệu suất hoặc hiểu sâu về cơ chế hoạt động của các mô hình LLM trên GPU phải đọc bài này để khám phá cách xây dựng runtime từ gốc, từ việc xử lý các bug kỹ thuật đến việc áp dụng các kỹ thuật như CUDA graph và paged cache để cải thiện hiệu suất gấp nhiều lần.

Debugging Ray Tracing Applications Using NVIDIA OptiX Toolkit

NVIDIA OptiX là một framework giúp tối ưu hiệu suất ray tracing trên GPU, nhưng ứng dụng sử dụng OptiX vẫn có thể gặp lỗi trong quá trình phát triển.

Nếu bạn làm việc với ray tracing hoặc GPU, OptiX Toolkit từ NVIDIA là công cụ mạnh mẽ để tối ưu hiệu suất, nhưng hiểu cách debug lỗi trên OptiX sẽ giúp bạn giải quyết vấn đề hiệu quả khi ứng dụng gặp sự cố.

Learning FlashAttention the Hard Way

Bài viết "Learning FlashAttention the Hard Way" của Dmitry Trifonov trên ITNEXT chia sẻ kinh nghiệm thực tế khi triển khai FlashAttention, một kỹ thuật tối ưu hóa attention mechanism trong deep learning.

Lập trình viên chuyên về AI/ML nên đọc bài này để hiểu cách FlashAttention cải tiến hiệu suất gấp nhiều lần so với các giải pháp truyền thống trong xử lý attention layer, giúp tối ưu hóa mô hình lớn như LLMs hiệu quả hơn trong thực tế.