When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving

NVIDIA Developer22 Hot13 min1 d agoAI

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. Công ty đang phát triển hai hướng tiếp cận riêng cho CUDA Rust, cạnh tranh với các công cụ trưởng thành như CUDA C++ và CUDA Python. Việc này giải quyết nhu cầu về ngôn ngữ an toàn bộ nhớ hơn cho lập trình GPU, vốn hiện chủ yếu dựa vào C++. Lập trình viên nên cân nhắc track phù hợp giữa Rust CUDA Compiler (RCC) và Rust-CUDA crate tùy thuộc vào nhu cầu dự án. Sự phát triển này đánh dấu bước tiến quan trọng khi Rust đang dần trở thành lựa chọn thay thế cho C++ trong các hệ thống hiệu năng cao.

Bài này giúp lập trình viên Rust nắm bắt hướng đi mới của NVIDIA cho lập trình GPU native.

#rust #nvidia #gpu Source

Collabora Blog0 Hot2 min1 d agoAI

Building GPU Drivers in Rust: Tyr at RustConf 2026

Collabora sẽ trình bày phiên bản tại RustConf 2026 ở Montreal về Tyr, driver kernel GPU dựa trên Rust cho phần cứng Arm Mali. Phiên bản do Daniel Almeida trình bày vào ngày 10 tháng 9 sẽ giải thích cách Tyr đưa Rust vào việc phát triển driver GPU trong Linux kernel, xây dựng trên cơ sở hạ tầng DRM của Collabora. Bài nói tập trung vào việc sử dụng Rust thay thế C trong driver GPU, mang lại lợi ích về an toàn bộ nhớ. Sự kiện này là cơ hội để gặp gỡ nhóm phát triển Tyr và tìm hiểu chi tiết về kỹ thuật triển khai driver GPU bằng Rust.

Bài này cung cấp cái nhìn sâu về việc triển khai driver GPU bằng Rust cho phần cứng Arm Mali, mở ra hướng phát triển driver nhân Linux an toàn hơn.

#linux #rust #gpu Source

FireUp27 Hot4 min6 d agoAI

NVIDIA Nemotron 3 Ultra: 10x cheaper than GPT-4o

NVIDIA vừa ra mắt Nemotron 3 Ultra, mô hình open weights với khả năng xử lý 1M token context, chi phí chỉ bằng 1/10 so với GPT-4o trên các benchmark agent. Sự chênh lệch giá này đến từ kiến trúc tối ưu và chiến lược cloud hosting của NVIDIA, cho phép người dùng tải weights, tự host và fine-tune hoàn toàn. Hệ quả là lập trình viên có thể triển khai Nemotron 3 Ultra với chi phí thấp đáng kể mà không phụ thuộc vào API trả phí của các dịch vụ đám mây. Bài này đáng đọc nếu bạn đang tìm kiếm một giải pháp LLM tiết kiệm chi phí, đặc biệt khi xây dựng các ứng dụng agent cần context window lớn.

NVIDIA Nemotron 3 Ultra mang đến lựa chọn AI mở với chi phí chỉ 1/10 GPT-4o, cho phép lập trình viên tự lưu trữ và tinh chỉnh mô hình.

#open-source #llm #gpt Source

CNX Software1 Hot3 min1 d agoAI

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

Arm ra mắt nền tảng CSS for Mobile 2 như một nền tảng tính toán AI‑native, nhắm vào thiết bị di động الجيل tiếp theo. Nền tảng này bao gồm hai nhân CPU C2‑Ultra và C2‑Pro, mỗi tích hợp SME2 (Scalable Matrix Extension 2) để tăng tốc phép toán ma trận. Đồng thời, nó đi kèm với GPU Mali G2‑Ultra NX, được tối ưu cho workloads AI và đồ họa song song. Kết hợp SME2 và GPU mới cho phép tăng hiệu suất AI lên tới vài chục phần trăm so với thế hệ trước, đồng thời giảm tiêu thụ năng lượng mỗi phép tính. Điều này cho thấy xu hướng đưa các phần mở rộng ma trận chuyên dụng và GPU mạnh vào cùng một SoC để xây dựng nền tảng AI‑native, là bài học quan trọng cho các nhà thiết kế chip khi cân nhắc đọc bài gốc.

Bài viết này giúp lập trình viên nắm bắt kiến thức về nền tảng tính toán AI-native mới nhất từ Arm để tối ưu hóa hiệu năng ứng dụng di động.

#hardware #gpu #arm Source

Medium2 Hot6 min5 d agoAI

What Actually Happens Inside the Transformer MLP Layer?

Trong các mô hình ngôn ngữ lớn, sự chú ý thường tập trung vào cơ chế self-attention, trong khi lớp MLP (feed-forward network) của mỗi block transformer nhận ít phân tích hơn. MLP gồm hai biến đổi tuyến tính với một hàm kích hoạt phi tuyến (thường là GELU), mở rộng chiều từ mô hình dimension d lên trung gian thường là 4d (ví dụ 768→3072 trong BERT-base hoặc 4096→12288 trong GPT-3) rồi giảm lại về d. Vì hoạt động trên mỗi token độc lập và chứa phần lớn tham số (khoảng 2/3 tổng) và FLOPs, lớp MLP quyết định sức mạnh biểu diễn và cũng là chokepoint chính của tốc độ suy luận. Hiểu rõ cách MLP hoạt động cho thấy các kỹ thuật như giảm rank, quantization activation hoặc thay thế bằng Mixture-of-Experts (MoE) có thể giảm đáng kể chi phí tính toán mà không suy giảm hiệu suất. Vì vậy, khi đánh giá hoặc tối ưu hóa transformer nên tập trung vào lớp này cũng như self-attention.

Bài này giải thích chi tiết cơ chế hoạt động của lớp MLP trong Transformer, thành phần thường bị bỏ quên nhưng quan trọng không kém cơ chế Self-Attention.

#machine-learning #llm #deep-learning Source

Sebastian Raschka49 Hot3 min1 mo agoAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning #mixture-of-experts Source

Hacker News55 Hot2 min1 mo agoAI

[2607.11938] Mathematics of Data Science

Bài báo arXiv 2607.11938 giới thiệu phần tóm tắt về lĩnh vực "Toán học của Khoa học Dữ liệu", đề cập đến các nền tảng toán học ứng dụng trong phân tích dữ liệu.

Những kỹ thuật toán và lý thuyết toán học trong bài viết này sẽ giúp bạn hiểu sâu hơn về cách xây dựng mô hình học máy hiệu quả hơn, từ đó tối ưu hóa thời gian và chất lượng dự án của mình.

#machine-learning #data-science #deep-learning Source

Sebastian Raschka23 Hot2 min1 mo agoAI

LLMs From Scratch Reaches 100,000 GitHub Stars

Kho lưu trữ LLMs-from-scratch trên GitHub đã vượt mốc 100.000 lượt star, cung cấp tài liệu học tập toàn diện về xây dựng mô hình ngôn ngữ lớn (LLMs) từ đầu.

Lập trình viên muốn tự xây dựng kiến thức về mô hình ngôn ngữ lớn từ cơ bản đến thực hành, tránh bị phụ thuộc vào các công cụ thương mại và khám phá cách xây dựng AI theo nguyên lý khoa học.

#llm #deep-learning Source

When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving

Recommended for you

Bình luận

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Building GPU Drivers in Rust: Tyr at RustConf 2026

NVIDIA Nemotron 3 Ultra: 10x cheaper than GPT-4o

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

What Actually Happens Inside the Transformer MLP Layer?

Kimi K3 Architecture Notes

[2607.11938] Mathematics of Data Science

LLMs From Scratch Reaches 100,000 GitHub Stars

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads