Đang tải bảng tin…
Hacker News0 Hot0 bình luận10 phút đọc
Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
A storage appliance that shipped before AVX2 existed now runs Google's Gemma 4 26B in my basement, no GPU. Here's how we got a modern MoE model onto a CPU older than the instructions its inference engine assumed were there.
Nguồn: https://www.neomindlabs.com/2026/06/08/running-gemma-4-26b-at-5-tokens-sec-on-a-13-year-old-xeon-with-no-gpu. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Hệ sinh thái 8 Sync Dev
Một tài khoản, cả hệ sinh thái
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync Dev.
8syncdev.com
8syncdev.comCổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháKhóa học
tutorial.8syncdev.comHọc theo lộ trình với video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem khóa họcLuyện code
coding.8syncdev.comLuyện thuật toán chấm tự động 7 ngôn ngữ, chạy code ngay trên trình duyệt.
Đề xuất cho bạn
Google Developers1 Hot15 phútAI
Systems Engineering Playbook: Optimizing Qwen 3.5-397B MoE on Ironwood (TPU7x)
Các kỹ sư đã tăng tốc độ suy luận lên 4,7 lần cho mô hình Qwen3.5-397B MoE trên TPU Ironwood nhờ sử dụng các nhân tùy chỉnh JAX/Pallas và kỹ thuật sharding kết hợp DP (Data Parallelism) + EP (Expert Parallelism).
Những kỹ thuật tối ưu hóa hiệu suất trên TPU như trong bài giúp lập trình viên hiểu cách tối ưu hóa mô hình lớn với chi phí năng lượng thấp và tốc độ xử lý nhanh hơn trong môi trường cloud hoặc server chuyên dụng.
