Đang tải bảng tin…
Hacker News0 Hot0 bình luận11 phút đọc
GitHub - swellweb/reame: Reame — CPU-first LLM inference server on llama.cpp: disk KV cache, self-regulating speculation, generation archive, interleaved multi-user, the Conclave. Your hardware, your
Reame is a CPU-first LLM inference server built on llama.cpp, designed for cheap hardware like free-tier VMs and 2-core ARM boxes. Its core thesis is to never compute the same thing twice on a CPU. Key features include a persistent shared-prefix KV cache stored on disk (survives restarts), a generation archive (Palimpsest) that drafts future responses from past outputs, self-regulating speculative decoding that measures its own effectiveness and disables itself when counterproductive, a consensus mechanism (The Conclave) that runs N candidates in one interleaved batch for improved accuracy, and interleaved multi-user serving. It exposes an OpenAI-compatible REST API and ships with 210 test cases. Benchmarks show real speedups: 4.8× end-to-end with warm disk cache, 3.2× with speculative decoding, and 2.3× with archive speculation. The project explicitly positions itself against Ollama, arguing that Reame gets faster the longer it runs while Ollama treats every request as new.
Nguồn: https://github.com/swellweb/reame. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Anton Zhiyanov27 Hot23 phútAI
Go-flavored concurrency in C
Bài viết phân tích cách triển khai các nguyên thủy lập trình song song theo phong cách Go trong C bằng POSIX threads cho dự án Solod (một trình biên dịch Go-to-C). Nó đề cập đến các wrapper cho mutex/cond, atomics, worker pools, channels có/không buffer, và so sánh hiệu năng chi tiết với Go. Kết quả chính: pthread-based concurrency gần tương đương Go (~10% chênh lệch) ở các tác vụ coarse-grained, nhưng chậm hơn 7-23 lần ở các thao tác fine-grained do chi phí đánh thức kernel, so với scheduler userspace của Go.
Bạn nên đọc để hiểu cách chuyển đổi cơ chế đồng thời kiểu Go sang C bằng pthreads, giúp hiểu rõ những trade-off giữa hiệu năng, phức tạp và sự tương thích khi xây dựng các ứng dụng đa luồng trên nền tảng C.
