Loading feed…
Hacker News0 Hot0 comments17 min read
GitHub - gavamedia/deltafin: Run Kimi K3, a 2.8T-parameter Mixture-of-Experts LLM, on a single Apple Silicon Mac. Streams MXFP4 experts on demand over HTTP into a local disk cache — fused NEON kernels
AI summary
Repo Deltafin cho phép chạy mô hình Kimi K3 (2,8 nghìn tỷ tham số) trên Mac Apple Silicon nhờ stream MXFP4 experts qua HTTP vào bộ nhớ cache đĩa cục bộ, sử dụng nhân NEON fused, Metal/MPS compute, giải mã chính xác và cung cấp API tương thích OpenAI.
Why read it: Là người phát triển muốn tối ưu hóa hiệu suất AI trên thiết bị cá nhân, đặc biệt là MacBook M1/M2, thì bài này giúp bạn hiểu cách triển khai một mô hình LLM lớn như Kimi K3 trên thiết bị này hiệu quả hơn, tiết kiệm tài nguyên và mở rộng khả năng ứng dụng cho các ứng dụng chatbot và agent thông minh.
What do you remember?
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
up to +17 points
3 questions · under a minute · optional
Source: https://github.com/gavamedia/deltafin. 8sync News only summarizes and links out; content copyright belongs to the authors and original sources.
