Loading feed…
Hacker News0 Hot0 comments17 min read
Janas: Run LLMs larger than RAM by streaming experts from SSD
AI summary
Janas cho phép chạy mô hình ngôn ngữ lớn Qwen3-Next-80B (48 GB) trên laptop chỉ 32 GB RAM với tốc độ 37 token/giây, gấp 13 lần llama.cpp (2.8 token/giây) khi không dùng draft. Công nghệ này hoạt động bằng cách streaming experts từ SSD, đạt tốc độ đọc 62 token/giây so với 16 token/giây của llama.cpp. Janas đã vượt trội hơn llama.cpp trên tất cả 13 mô hình được so sánh trong bộ Q4_K_M. Điểm đáng học ở đây là cách Janas giải quyết bài toán lớn hơn RAM bằng streaming experts, tối ưu hiệu suất mà không cần GPU.
AI summaries can be wrong. Read the original before relying on anything important.
Why read it: Janas giúp chạy các mô hình ngôn ngữ lớn hơn dung lượng RAM bằng cách chuyên gia hóa luồng từ SSD, tăng tốc độ xử lý gấp nhiều lần so với llama.cpp.
What do you remember?
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
up to +17 points
3 questions · under a minute · optional
Source: https://github.com/prabanta-dev/janas. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
8 Sync ecosystem
One account, the whole ecosystem
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
8syncdev.com
8syncdev.comThe ecosystem home: product overviews, blog and full pricing.
ExploreCourses
course.8syncdev.comLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmapCoding practice
coding.8syncdev.com1,000 DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeIELTS
ielts.8syncdev.comAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeZUS — AI IDE
zus.8syncdev.comA 22 MB AI IDE for Vietnamese devs.
Download freemind0
mind0.8syncdev.comOrganizational memory for AI agents.
ExploreAcoLeads
home-acoleads.8syncdev.comAI that staffs your Fanpage and qualifies leads for you.
Try itRecommended for you
daniel.haxx.se2 Hot4 minAI
A slightly faster slimmer curl
Curl đã thực hiện bộ kiểm tra hiệu suất mới trong hai tháng qua, mang lại nhiều cải thiện tốc độ và bộ nhớ phiên bản 8.23.0. Các hàm Base64 encode/decode, URL encode/decode, date parsing, URL parsing, printf() và number parsing đều nhanh hơn đáng kể từ 20% đến 4 lần tùy chức năng. Cấu trúc core đã được rút gọn đáng kể: easy handle giảm từ 4256 xuống còn 3064 bytes, multi handle từ 900 xuống 656 bytes, và connectdata từ 824 xuống 656 bytes. Những giảm này cũng cắt giảm mức sử dụng bộ nhớ peak cho một lần HTTP download từ 130,622 xuống còn 126,875 bytes, với số lượng allocation giảm từ 100 xuống 96. Bộ kiểm tra này đã có sẵn trong repository git của curl để bất kỳ ai cũng có thể sử dụng.
Lập trình viên nên đọc bài này để hiểu những cải tiến hiệu năng đáng kể trong phiên bản curl 8.23.0, bao gồm tốc độ xử lý và giảm sử dụng bộ nhớ.
Lobsters2 Hot8 minAI
Calling a function in C without naming it
Một sinh viên đã khai thác hệ thống chấm điểm từ xa bằng cách bypass cơ chế ngăn chặn gọi h execve trong C. Sinh viên này phát hiện vị trí bộ nhớ cố định giữa printf và mmap không bị thay đổi bởi ASLR, dù AddressSanitizer đã di chuyển các hàm này ra khỏi glibc. Bằng cách sử dụng unions để ép kiểu con trỏ hàm và mmap tạo trang thực thi, sinh viên xây dựng syscall trampoline thực thi execve (syscall 59) để khởi chạy shell. Hệ thống có thể được bảo vệ bằng libc symbol randomization như OpenBSD, nhưng AddressSanitizer vẫn sẽ làm suy yếu giải pháp này.
Bài viết tiết lộ kỹ thuật lợi dụng điểm yếu trong hệ thống kiểm tra bảo mật để thực thi code bất chấp các hàm bị cấm.
Lobsters1 Hot21 minAI
The Goose Programming Language
Goose là ngôn ngữ lập trình mới với hướng tiếp cận độc đáo trong thiết kế system programming language. Goose được phát triển trên nền tảng Rust, tận dụng ưu điểm về bộ nhớ an toàn và hiệu suất cao. Ngôn ngữ này nhằm giải quyết bài toán về sự phức tạp trong C++ và Rust, đơn giản hóa cú pháp nhưng vẫn giữ được hiệu năng hệ thống. Goose cho thấy hướng đi mới cho các ngôn ngữ system-level programming, cân bằng giữa an toàn bộ nhớ và tính dễ sử dụng.
Lập trình viên nên đọc bài này để khám phá ngôn ngữ Goose độc đáo với triết lý thiết kế khác biệt trong thế giới lập trình.
Anton Zhiyanov41 Hot4 minAI
Relying on Go
Bài viết đề cập đến việc tận dụng các công cụ (tooling) và thư viện chuẩn (standard library) của ngôn ngữ Go nhằm phát triển các hệ thống phần mềm hiệu quả.
Lập trình viên hệ thống nên đọc bài này để khám phá cách tối ưu hóa hiệu suất và tính bảo trì bằng cách tái sử dụng công cụ và thư viện tiêu chuẩn của Go, giúp phát triển ứng dụng nhanh hơn và đáng tin cậy hơn trong môi trường hệ thống phức tạp.
Lobsters1 Hot11 minAI
C for Rust Programmers
Bối cảnh là lập trình viên Rust muốn chuyển sang ngôn ngữ C, một nền tảng hệ thống lâu đời hơn. Nguyên nhân kỹ thuật là C không cóOwnership và Borrow Checker như Rust, cho phép thao tác pointer tự do gây lỗi memory safety. Hệ quả là lập trình viên C phải quản lý bộ nhớ thủ công và tự chịu trách nhiệm về bugs liên quan đến bộ nhớ. Điều đáng học là cách xử lý strings trong C khác biệt với Rust, vì C không xác định độ dài chuỗi và không kiểm tra giới hạn buffer.
Bài viết này giúp lập trình viên Rust hiểu rõ những điểm khác biệt thú vị và cạm bẫy tiềm ẩn khi chuyển từ sang ngôn ngữ C.
Anton Zhiyanov63 Hot23 minAI
Go-flavored concurrency in C
Bài viết phân tích cách triển khai các nguyên thủy lập trình song song theo phong cách Go trong C bằng POSIX threads cho dự án Solod (một trình biên dịch Go-to-C). Nó đề cập đến các wrapper cho mutex/cond, atomics, worker pools, channels có/không buffer, và so sánh hiệu năng chi tiết với Go. Kết quả chính: pthread-based concurrency gần tương đương Go (~10% chênh lệch) ở các tác vụ coarse-grained, nhưng chậm hơn 7-23 lần ở các thao tác fine-grained do chi phí đánh thức kernel, so với scheduler userspace của Go.
Bạn nên đọc để hiểu cách chuyển đổi cơ chế đồng thời kiểu Go sang C bằng pthreads, giúp hiểu rõ những trade-off giữa hiệu năng, phức tạp và sự tương thích khi xây dựng các ứng dụng đa luồng trên nền tảng C.
Anton Zhiyanov39 Hot12 minAI
Solod 0.3: Concurrency, JSON, more safety
Solod 0.3 là phiên bản mới của ngôn ngữ lập trình Solod, hỗ trợ concurrency, JSON và cải thiện độ an toàn. Solod là tập con nghiêm ngặt của Go, có thể dịch sang C thông thường.
Lập trình viên muốn khám phá cách áp dụng tính đồng thời (concurrency) trong Go mà không cần phụ thuộc vào các tính năng phức tạp của ngôn ngữ, và tìm hiểu về Solod 0.3 – một biến thể của Go có thể biên dịch thành C – để mở rộng kiến thức về an toàn và hiệu suất trong các dự án mở rộng.
Lobsters34 Hot2 minAI
GitHub - tomasz-lisowski/swsim: A software SIM card.
swSIM là trình giả lập SIM card hoàn toàn bằng phần mềm, mã nguồn mở, không cần phần cứng vật lý. Nó kết nối với PC qua PC/SC nhờ swICC reader, tương thích với mọi điện thoại có khe SIM, được xây dựng bằng make/gcc và không phụ thuộc runtime.
Lập trình viên phát triển ứng dụng di động hoặc hệ thống liên quan đến SIM card nên đọc để tìm hiểu cách tạo mô phỏng SIM card hoàn toàn phần mềm, giúp tiết kiệm chi phí phát triển và mở rộng khả năng tương thích với các thiết bị không cần thiết bị vật lý.
Bình luận
Đang tải bình luận…