Richard Geldreich's Blog: NNTC PBR material set compressor: now supports CPU encoding

NVIDIA Developer48 Hot13 min11 d agoAI

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. Công ty đang phát triển hai hướng tiếp cận riêng cho CUDA Rust, cạnh tranh với các công cụ trưởng thành như CUDA C++ và CUDA Python. Việc này giải quyết nhu cầu về ngôn ngữ an toàn bộ nhớ hơn cho lập trình GPU, vốn hiện chủ yếu dựa vào C++. Lập trình viên nên cân nhắc track phù hợp giữa Rust CUDA Compiler (RCC) và Rust-CUDA crate tùy thuộc vào nhu cầu dự án. Sự phát triển này đánh dấu bước tiến quan trọng khi Rust đang dần trở thành lựa chọn thay thế cho C++ trong các hệ thống hiệu năng cao.

Bài này giúp lập trình viên Rust nắm bắt hướng đi mới của NVIDIA cho lập trình GPU native.

#rust #nvidia #gpu Source

The Developing Dev32 Hot51 min2 mo agoAI

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

Tôi từng học sơ lược về RISC và CISC ở đại học nhưng giờ hầu như quên hết.

Nếu bạn đang phát triển ứng dụng AI hoặc xử lý dữ liệu lớn, hiểu rõ sự khác biệt giữa kiến trúc RISC và CISC sẽ giúp bạn tối ưu hiệu suất và lựa chọn thiết bị (TPU, GPU, CPU) phù hợp với công việc của mình.

#architecture #gpu Source

All Things Open3 Hot3 min16 d agoAI

Why matching CUDA drivers is finally easier

Bài viết giải thích rằng trước đây việc sao chép bản CUDA toolkit và driver phải khớp chính xác phiên bản, gây nhiều lỗi khi triển khai trên các hệ thống khác nhau. NVIDIA đã ra mắt CUDA Compatibility Pack bắt đầu từ CUDA 11.7, cho phép một bản driver duy nhất hỗ trợ nhiều phiên bản toolkit liên tiếp. Nhờ đó, trên Linux và Windows, nhà phát triển chỉ cần cập nhật driver mỗi kwartal thay vì mỗi khi nâng cấp toolkit, giảm thiểu thời gian downtime. Thử nghiệm trên các cụm GPU cho thấy tỷ lệ lỗi phiên bản driver giảm hơn 70% so với phương pháp cũ. Điều này cho thấy đầu tư vào các gói tương thích ngược có thể đơn giản hoá quy trình CI/CD cho các ứng dụng GPU-intensive.

Bài này giải thích tại sao việc khớp phiên bản driver CUDA giờ đây đơn giản hơn, giúp lập trình viên tiết kiệm thời gian và giảm thiểu lỗi hệ thống.

#nvidia #cuda #opentofu Source

NVIDIA Developer1 Hot5 min9 d agoAI

How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra

Bối cảnh triển khai large language model chỉ là bước đầu trong việc phục vụ sản phẩm, các đội sản xuất cần khả năng phục vụ nhiều người dùng đồng thời càng tốt. Nguyên nhân kỹ thuật nằm ở các tối ưu hóa NIM (NVIDIA Inference Microservice) trên nền tảng Nemotron 3 Ultra giúp tăng hiệu suất đáng kể. Hệ quả là hệ thống có thể xử lý 2.5x lượng người dùng cùng lúc so với các giải pháp thông thường nhờ giảm 70% chi phí tính toán cho mỗi token. Điều đáng học là việc kết hợp tối ưu hóa full-stack từ phần cứng đến phần mềm có thể tạo ra bước nhảy vọt về hiệu quả kinh tế khi triển khai AI.

Bài viết giải thích cách tối ưu hóa Full-Stack NIM giúp tăng gấp đôi lượng người dùng trên Nemotron 3 Ultra, hữu ích cho lập trình viên muốn nâng cao hiệu suất triển khai model.

#gpu #ai-inference Source

NVIDIA Developer1 Hot14 min10 d agoAI

CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs

CUDA Toolkit 13.4 bổ sung hỗ trợ Windows on Arm, giúp các lập trình viên tận dụng được sức mạnh của GPU NVIDIA trên nền tảng ARM. Phiên bản này mang lại kiểm soát chi tiết hơn cho shared GPUs thông qua tính năng Multi-Process Service (MPS), cho phép nhiều process chia sẻ tài nguyên hiệu quả hơn. Performance improvements đáng kể đạt được, với tốc độ xử lý tăng lên đáng kể trong các tác vụ AI và high-performance computing. Điểm đáng học hỏi là cách NVIDIA tích hợp đa nền tảng, từ traditional x86 đến ARM, chứng tỏ chiến lược phần mềm linh hoạt. Đối với lập trình viên, bản cập nhật này mở ra cơ hội tối ưu hóa ứng dụng trên nhiều kiến trúc phần cứng khác nhau.

Lập trình viên nên đọc bài này để biết về tính năng hỗ trợ Windows on Arm và kiểm soát GPU chia sẻ trong CUDA Toolkit 13.4.

#python #performance #nvidia Source

Collabora Blog0 Hot2 min11 d agoAI

Building GPU Drivers in Rust: Tyr at RustConf 2026

Collabora sẽ trình bày phiên bản tại RustConf 2026 ở Montreal về Tyr, driver kernel GPU dựa trên Rust cho phần cứng Arm Mali. Phiên bản do Daniel Almeida trình bày vào ngày 10 tháng 9 sẽ giải thích cách Tyr đưa Rust vào việc phát triển driver GPU trong Linux kernel, xây dựng trên cơ sở hạ tầng DRM của Collabora. Bài nói tập trung vào việc sử dụng Rust thay thế C trong driver GPU, mang lại lợi ích về an toàn bộ nhớ. Sự kiện này là cơ hội để gặp gỡ nhóm phát triển Tyr và tìm hiểu chi tiết về kỹ thuật triển khai driver GPU bằng Rust.

Bài này cung cấp cái nhìn sâu về việc triển khai driver GPU bằng Rust cho phần cứng Arm Mali, mở ra hướng phát triển driver nhân Linux an toàn hơn.

#linux #rust #gpu Source

CNX Software1 Hot3 min11 d agoAI

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

Arm ra mắt nền tảng CSS for Mobile 2 như một nền tảng tính toán AI‑native, nhắm vào thiết bị di động الجيل tiếp theo. Nền tảng này bao gồm hai nhân CPU C2‑Ultra và C2‑Pro, mỗi tích hợp SME2 (Scalable Matrix Extension 2) để tăng tốc phép toán ma trận. Đồng thời, nó đi kèm với GPU Mali G2‑Ultra NX, được tối ưu cho workloads AI và đồ họa song song. Kết hợp SME2 và GPU mới cho phép tăng hiệu suất AI lên tới vài chục phần trăm so với thế hệ trước, đồng thời giảm tiêu thụ năng lượng mỗi phép tính. Điều này cho thấy xu hướng đưa các phần mở rộng ma trận chuyên dụng và GPU mạnh vào cùng một SoC để xây dựng nền tảng AI‑native, là bài học quan trọng cho các nhà thiết kế chip khi cân nhắc đọc bài gốc.

Bài viết này giúp lập trình viên nắm bắt kiến thức về nền tảng tính toán AI-native mới nhất từ Arm để tối ưu hóa hiệu năng ứng dụng di động.

#hardware #gpu #arm Source

sean goedecke17 Hot6 min2 mo agoAI

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

#llm #openai #gpu Source

Richard Geldreich's Blog: NNTC PBR material set compressor: now supports CPU encoding

Recommended for you

Bình luận

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

Why matching CUDA drivers is finally easier

How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra

CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs

Building GPU Drivers in Rust: Tyr at RustConf 2026

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

AI inference is obviously profitable

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads