The Architecture for Serving 100 Fine-Tuned Models on One GPU

NVIDIA Developer39 Hot13 min3 d agoAITop

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. …

NVIDIA Developer1 Hot5 min1 d agoAI

How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra

Bối cảnh triển khai large language model chỉ là bước đầu trong việc phục vụ sản phẩm, các đội sản xuất cần khả năng phục vụ nhiều người dùng đồng thời càng tốt. Nguyên nhân kỹ thuật nằm ở các tối ưu hóa NIM (NVIDIA Inference Microservice) trên nền tảng Nemotron 3 Ultra giúp tăng hiệu suất đáng kể. Hệ quả là hệ thống có thể xử lý 2.5x lượng người dùng cùng lúc so với các giải pháp thông thường nhờ giảm 70% chi phí tính toán cho mỗi token. Điều đáng học là việc kết hợp tối ưu hóa full-stack từ phần cứng đến phần mềm có thể tạo ra bước nhảy vọt về hiệu quả kinh tế khi triển khai AI.

Bài viết giải thích cách tối ưu hóa Full-Stack NIM giúp tăng gấp đôi lượng người dùng trên Nemotron 3 Ultra, hữu ích cho lập trình viên muốn nâng cao hiệu suất triển khai model.

#gpu #ai-inference Source

NVIDIA Developer1 Hot14 min2 d agoAI

CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs

CUDA Toolkit 13.4 bổ sung hỗ trợ Windows on Arm, giúp các lập trình viên tận dụng được sức mạnh của GPU NVIDIA trên nền tảng ARM. Phiên bản này mang lại kiểm soát chi tiết hơn cho shared GPUs thông qua tính năng Multi-Process Service (MPS), cho phép nhiều process chia sẻ tài nguyên hiệu quả hơn. Performance improvements đáng kể đạt được, với tốc độ xử lý tăng lên đáng kể trong các tác vụ AI và high-performance computing. Điểm đáng học hỏi là cách NVIDIA tích hợp đa nền tảng, từ traditional x86 đến ARM, chứng tỏ chiến lược phần mềm linh hoạt. Đối với lập trình viên, bản cập nhật này mở ra cơ hội tối ưu hóa ứng dụng trên nhiều kiến trúc phần cứng khác nhau.

Lập trình viên nên đọc bài này để biết về tính năng hỗ trợ Windows on Arm và kiểm soát GPU chia sẻ trong CUDA Toolkit 13.4.

#python #performance #nvidia Source

Collabora Blog0 Hot2 min3 d agoAI

Building GPU Drivers in Rust: Tyr at RustConf 2026

Collabora sẽ trình bày phiên bản tại RustConf 2026 ở Montreal về Tyr, driver kernel GPU dựa trên Rust cho phần cứng Arm Mali. Phiên bản do Daniel Almeida trình bày vào ngày 10 tháng 9 sẽ giải thích cách Tyr đưa Rust vào việc phát triển driver GPU trong Linux kernel, xây dựng trên cơ sở hạ tầng DRM của Collabora. Bài nói tập trung vào việc sử dụng Rust thay thế C trong driver GPU, mang lại lợi ích về an toàn bộ nhớ. Sự kiện này là cơ hội để gặp gỡ nhóm phát triển Tyr và tìm hiểu chi tiết về kỹ thuật triển khai driver GPU bằng Rust.

Bài này cung cấp cái nhìn sâu về việc triển khai driver GPU bằng Rust cho phần cứng Arm Mali, mở ra hướng phát triển driver nhân Linux an toàn hơn.

#linux #rust #gpu Source

CNX Software1 Hot3 min3 d agoAI

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

Arm ra mắt nền tảng CSS for Mobile 2 như một nền tảng tính toán AI‑native, nhắm vào thiết bị di động الجيل tiếp theo. Nền tảng này bao gồm hai nhân CPU C2‑Ultra và C2‑Pro, mỗi tích hợp SME2 (Scalable Matrix Extension 2) để tăng tốc phép toán ma trận. Đồng thời, nó đi kèm với GPU Mali G2‑Ultra NX, được tối ưu cho workloads AI và đồ họa song song. Kết hợp SME2 và GPU mới cho phép tăng hiệu suất AI lên tới vài chục phần trăm so với thế hệ trước, đồng thời giảm tiêu thụ năng lượng mỗi phép tính. Điều này cho thấy xu hướng đưa các phần mở rộng ma trận chuyên dụng và GPU mạnh vào cùng một SoC để xây dựng nền tảng AI‑native, là bài học quan trọng cho các nhà thiết kế chip khi cân nhắc đọc bài gốc.

Bài viết này giúp lập trình viên nắm bắt kiến thức về nền tảng tính toán AI-native mới nhất từ Arm để tối ưu hóa hiệu năng ứng dụng di động.

#hardware #gpu #arm Source

The Developing Dev32 Hot51 min2 mo agoAI

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

Tôi từng học sơ lược về RISC và CISC ở đại học nhưng giờ hầu như quên hết.

Nếu bạn đang phát triển ứng dụng AI hoặc xử lý dữ liệu lớn, hiểu rõ sự khác biệt giữa kiến trúc RISC và CISC sẽ giúp bạn tối ưu hiệu suất và lựa chọn thiết bị (TPU, GPU, CPU) phù hợp với công việc của mình.

#architecture #gpu Source

XDA Developers9 Hot4 min1 mo agoAI

3 PC parts you should buy right now instead of waiting for better prices

Có thể chúng ta đang trong giai đoạn ngắn trước khi giá PC parts tăng trở lại.

Lập trình viên nên đọc bài này để cập nhật các bộ phận máy tính hiện tại có giá tốt nhất trước khi giá tăng, giúp họ tối ưu hóa chi phí xây dựng hệ thống hiệu quả ngay khi có cơ hội.

#gpu Source

DigitalOcean Community1 Hot25 min15 d agoAI

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

Khi chạy mô hình học sâu trên nền tảng serverless như AWS Lambda, Azure Functions hoặc Google Cloud Run, mỗi lần gọi đầu tiên sẽ trải qua giai đoạn cold start khiến latency tăng đáng kể. Latency chủ yếu xuất phát từ thời gian tải image container, giải nén và khởi tạo runtime, đồng thời phải load mô hình từ bộ lưu trữ (S3, Blob Storage) vào RAM, và thời gian này tỷ lệ thuận với kích thước mô hình – ví dụ một mô hình 2 GB có thể cần 3‑5 giây để load. Hệ quả là các request đầu tiên gặp trễ từ vài trăm miligiây (đối với hàm nhẹ) tới vài giây (đối với mô hình lớn), làm giảm trải nghiệm người dùng và gây khó khăn trong các ứng dụng cần phản hồi real‑time như chatbot hoặc xử lý video. Các tối ưu như giảm kích thước mô hình qua quantization hoặc pruning, sử dụng lớp cache /tmp hoặc EFS, bật tính năng provisioned concurrency hoặc AWS Lambda SnapStart, và chọn runtime dựa trên hình ảnh cơ sở nhỏ (distroless, Alpine) có thể cắt giảm cold start xuống dưới 500 ms cho hầu hết các trường hợp. Kết hợp các kỹ thuật trên không chỉ giảm latency mà còn tiết kiệm chi phí do giảm thời gian thực thi và số lần khởi tạo container.

Bài viết giải thích rõ ràng về nguyên nhân gây độ trễ lúc khởi đầu và cách tối ưu hiệu suất cho serverless inference.

#serverless #gpu #digitalocean Source

The Architecture for Serving 100 Fine-Tuned Models on One GPU

Recommended for you

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Bình luận

How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra

CUDA Toolkit 13.4 Adds Windows on Arm Support and Greater Control over Shared GPUs

Building GPU Drivers in Rust: Tyr at RustConf 2026

Arm CSS for Mobile 2 “AI-Native” platform: Arm C2-Ultra and C2-Pro CPU cores, Mali G2-Ultra NX GPU

Turing Award Winner: TPUs vs GPUs vs CPUs, Computer Architecture, RISC vs CISC

3 PC parts you should buy right now instead of waiting for better prices

Cold Start Latency on Serverless Inference: What Actually Happens in Those Few Seconds

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads