IREE 3.12 Introduces Rolls Out Rewritten Vulkan Driver, Experimental AMD HSA HAL

IREE 3.12, the MLIR-based end-to-end compiler and runtime for machine learning models, ships a rewritten Vulkan HAL driver from AMD engineer Ben Vanik, now targeting Vulkan 1.3 with native queue paths, push descriptors, and a descriptor-free buffer device address dispatch ABI. New hardware support includes Broadcom VideoCore VII (Raspberry Pi), Arm Mali 5th Gen, and LLVMpipe. The release also adds an experimental, opt-in native AMD HSA HAL driver using direct HSA/ROCR queues and AQL packets, a rewritten CPU back-end execution path, Ada and Blackwell NVIDIA compiler targets, and AMD CDNA5/MI455X and RDNA3 chip details.

Source: https://www.phoronix.com/news/IREE-3.12-Released. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.

Recommended for you

XDA Developers1 Hot5 min3 d agoAI

MoE models changed what "fits on my GPU" means, and most hardware advice hasn't caught up

Bối cảnh: Các mô hình Mixture of Experts (MoE) đã thay đổi hoàn toàn khái niệm "mô hình nào có thể chạy được trên GPU của tôi" khi một chiếc GPU 10 năm tuổi nay có thể xử lý được các mô hình ngôn ngữ lớn (LLM) lên tới 26 tỷ tham số. Nguyên nhân kỹ thuật: MoE hoạt động bằng cách chỉ kích hoạt một phần các chuyên gia (experts) trong mô hình cho mỗi token đầu vào, giảm đáng kể lượng tính toán cần thiết so với các mô hình dense truyền thống. Hệ quả: Phần lớn tư vấn phần cứng hiện tại vẫn chưa cập nhật thực tế này, dẫn đến khuyến nghị không cần thiết nâng cấp phần cứng. Điều đáng học: Người dùng có thể tận dụng hiệu quả phần cứng hiện có để chạy các mô hình lớn hơn nhiều so với khả năng lý thuyết, miễn là các mô hình hỗ trợ kiến trúc MoE.

MoE models đã thay đổi hoàn toàn cách bạn có thể chạy các mô hình ngôn ngữ lớn ngay cả trên phần cứng cũ như GPU 10 năm tuổi.

#gpu#self-hosting#local-aiSource

Google Developers37 Hot1 min20 d agoAI

Colab is now part of your Google AI plan

Google vừa tích hợp Colab vào Google AI plan, mang lại lợi ích cao cấp cho người đăng ký. Các lập trình viên giờ đây có truy cập vào faster accelerators và Premium GPUs để tăng tốc độ xử lý. Đặc biệt, tính năng uninterrupted background execution cho phép chạy training kéo dài mà không bị gián đoạn. Đây là bước đi chiến lược giúp Google củng cố vị thế trong việc cung cấp công cụ AI cho nhà phát triển.

Bài viết giúp lập trình viên biết cách tận dụng Colab trong Google AI plan với các tính năng cao cấp để tăng tốc độ và hiệu quả công việc AI.

#machine-learning#data-science#gpuSource

XDA Developers4 Hot2 min7 d agoAI

Super Mario Bros. Wonder now runs natively on PC without emulation, and Nintendo probably isn't happy about it

Siêu phẩm Super Mario Bros. Wonder đã được port nguyên bản sang PC mà không cần thông qua emulation, đây là tựa game đầu tiên từ Switch đạt được thành tích này. Nhóm khai thác đã sử dụng công cụ Reverse engineering để bypass hoàn toàn cơ chế bảo mật của Nintendo, cho phép chạy trò chơi trực tiếp. Kết quả là game có thể đạt tốc độ 60 FPS ổn định trên cấu hình PC thông thường, vượt trội hơn bản gốc trên Switch. Mặc dù Nintendo chưa đưa ra phản chính thức, nhiều chuyên gia dự đoán công ty sẽ vá lỗi bảo mật trong bản cập nhật tiếp theo. Thành công của dự án này mở ra hướng mới cho cộng đồng modding game, chứng minh rằng bảo mật phần cứng không thể ngăn cản việc crack game vĩnh viễn.

Bài viết này tiết lộ phương pháp chuyển tự nhiên Super Mario Bros. Wonder từ Switch sang PC mà không cần giả lập, mở ra khả năng tương lai cho các trò chơi Nintendo khác.

#tech-news#vulkan#reverse-engineeringSource

NVIDIA Developer48 Hot13 min1 mo agoAI

Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Vào tháng 9 năm 2026, NVIDIA đã công bố định hướng lập trình GPU gốc bằng Rust. Công ty đang phát triển hai hướng tiếp cận riêng cho CUDA Rust, cạnh tranh với các công cụ trưởng thành như CUDA C++ và CUDA Python. Việc này giải quyết nhu cầu về ngôn ngữ an toàn bộ nhớ hơn cho lập trình GPU, vốn hiện chủ yếu dựa vào C++. Lập trình viên nên cân nhắc track phù hợp giữa Rust CUDA Compiler (RCC) và Rust-CUDA crate tùy thuộc vào nhu cầu dự án. Sự phát triển này đánh dấu bước tiến quan trọng khi Rust đang dần trở thành lựa chọn thay thế cho C++ trong các hệ thống hiệu năng cao.

Bài này giúp lập trình viên Rust nắm bắt hướng đi mới của NVIDIA cho lập trình GPU native.

#rust#nvidia#gpuSource

The Next Web0 Hot2 min3 d agoAI

Super Micro case ‘fixer’ pleads guilty to sending AI servers to China

Ting-Wei Sun đã nhận tội trong một kế hoạch trị giá 2.5 tỷ đô la nhằm chuyển hướng máy chủ AI trang bị Nvidia sang Trung Quốc. Kế hoạch này liên quan đến việc sửa đổi vỏ máy chủ Super Micro để che giấu thông tin nhạy cảm. Hậu quả là công ty Super Micro, đồng sáng lập Wally Liaw đang đối mặt với các cáo buộc nghiêm trọng. Vụ việc cho thấy những lỗ hổng an ninh trong chuỗi cung ứng công nghệ cao. Người làm kỹ thuật nên học cách kiểm tra kỹ lưỡng phần cứng và bảo mật thiết bị trước khi triển khai.

Vụ án này cảnh báo lập trình viên về rủi ro pháp lý khi chuyển giao công nghệ AI sang các thị trường hạn chế.

#nvidia#gpuSource

Hackaday2 Hot3 min9 d agoAI

AI On Your Gaming PC

Strata cho phép mô hình LLM 125 tỷ tham số chạy trên phần cứng gaming-grade với sự hỗ trợ của Qwen3.8 mixture-of-experts 24,576 chuyên gia chỉ kích hoạt 10 chuyên gia mỗi token. VRAM hoạt động như cache cho chuyên gia được sử dụng thường xuyên, phần lớn mô hình nằm trong RAM, và bảng tra cứu 29 GB nằm trên SSD. Kỹ thuật speculative decoding giúp đạt tốc độ 50-90 token/giây trên RTX 5070 12 GB VRAM. Dù có API tương thích OpenAI và Anthropic, chất lượng trả lời còn hạn chế so với các mô hình lớn hơn, với yêu cầu thực tế khoảng 32 GB RAM, 12 GB VRAM và 80 GB lưu trữ.

Bài viết này giúp bạn hiểu cách triển khai AI quy mô lớn trên máy tính cá nhân mà không cần GPU chuyên dụng từ trung tâm dữ liệu.

#gpu#local-ai#mixture-of-expertsSource

The New Stack1 Hot14 min4 d agoAI

Amazon ECS now auto-repairs failing GPUs and instances. Here’s why it matters for SREs.

Amazon ECS vừa triển khai tính năng tự động sửa chữa GPU và instance lỗi, giúp giảm thiểu sự cố và đơn giản hóa khả năng chịu lỗi cho ứng dụng đám mây đối với SREs. Tính năng này sử dụng Health Check để phát hiện GPU hoặc instance không phản hồi trong vòng 5 phút. Khi phát hiện lỗi, ECS sẽ tự động khởi động lại container hoặc thay thế instance mà không cần can thiệp thủ công. Giải pháp này đặc biệt quan trọng với các workload sử dụng GPU đòi hỏi tính ổn định cao như machine learning. SREs có thể tiết kiệm thời gian phản hồi sự cố và giảm chi phí vận hành nhờ tính năng tự động sửa chữa mới này.

Tính năng tự động sửa chữa của Amazon ECS giúp giảm thiểu thời gian chết và tăng cường độ ổn định cho các ứng dụng sử dụng GPU.

#aws#gpuSource

NVIDIA Developer1 Hot8 min7 d agoAI

Control How Your GPU Shares Work with Green Contexts

GPU ngày càng phải xử lý nhiều thành phần độc lập trong cùng một process, với các operator nhạy cảm độ trễ và các tác vụ heavy-weight chạy song song. Vấn đề nảy sinh khi GPU scheduler hiện tại (như CUDA's Concurrent Kernel Execution) không phân biệt rõ rệt giữa các context, dẫn đến tình trạng operator nhạy cảm độ trễ bị block bởi các tác vụ nặng. Hệ quả là hiệu năng của các ứng dụng real-time giảm đáng kể, có thể lên đến 30-40% độ trễ tăng thêm. Green Contexts là giải pháp từ Microsoft Research cho phép lập trình viên tách biệt các tác vụ thành các context ưu tiên khác nhau, qua đó kiểm soát chính xác GPU allocation và cải thiện đáng kể hiệu năng cho các ứng dụng đa thành phần.

Bài viết này giúp lập trình viên tối ưu hóa hiệu suất GPU bằng cách kiểm soát cách chia sẻ công việc giữa các thành phần khác nhau trong cùng một tiến trình.

#performance#nvidia#gpuSource