Loading feed…
Polars Blog0 Hot0 comments8 min read
A new streaming backend for the Polars GPU engine
The Polars GPU engine now runs on a streaming backend built on RapidsMPF. Queries spill past GPU memory, scale from one GPU to many, and run TB-scale benchmarks up to 23x faster than the CPU engine.
Source: https://pola.rs/posts/gpu-streaming-backend. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Recommended for you
freeCodeCamp1 Hot18 minAI
From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved
MoE models bắt đầu với một số lượng chuyên gia hạn chế, ví dụ Mixtral sử dụng 8 chuyên gia mỗi lớp. Để đạt hiệu suất cao hơn, các nhà nghiên cứu đã mở rộng số chuyên gia lên gần 900 mỗi lớp trong Kimi K3, đồng thời phải giải quyết vấn đề tính sparse và độ ổn định trong quá trình huấn luyện. Các cơ chế nén như cắt bớt chuyên gia ít dùng, lượng tử hóa và phân tích hạng thấp kết hợp với các kỹ thuật ổn định như loss phụ trợ, hệ số capacity và dropout trên router cho phép mô hình vẫn khả thi để huấn luyện mà không giảm hiệu suất. Điều đáng học là khi mở rộng MoE, việc cân bằng tải giữa các chuyên gia và duy trì độ ổn định của router là then chốt để tránh hiện tượng chuyên gia chết hoặc quá tải. Điều này cho thấy, ngoài việc tăng số chuyên gia, đầu tư vào các kỹ thuật nén và ổn định là yếu tố quyết định sự thành công của các mô hình MoE hiện đại.
Bình luận
Đang tải bình luận…
