Đang tải bảng tin…
Hacker News0 Hot0 bình luận17 phút đọc
GitHub - gavamedia/deltafin: Run Kimi K3, a 2.8T-parameter Mixture-of-Experts LLM, on a single Apple Silicon Mac. Streams MXFP4 experts on demand over HTTP into a local disk cache — fused NEON kernels
Tóm tắt bởi AI
Repo Deltafin cho phép chạy mô hình Kimi K3 (2,8 nghìn tỷ tham số) trên Mac Apple Silicon nhờ stream MXFP4 experts qua HTTP vào bộ nhớ cache đĩa cục bộ, sử dụng nhân NEON fused, Metal/MPS compute, giải mã chính xác và cung cấp API tương thích OpenAI.
Vì sao nên đọc: Là người phát triển muốn tối ưu hóa hiệu suất AI trên thiết bị cá nhân, đặc biệt là MacBook M1/M2, thì bài này giúp bạn hiểu cách triển khai một mô hình LLM lớn như Kimi K3 trên thiết bị này hiệu quả hơn, tiết kiệm tài nguyên và mở rộng khả năng ứng dụng cho các ứng dụng chatbot và agent thông minh.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://github.com/gavamedia/deltafin. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
