Đang tải bảng tin…
Hacker News0 Hot0 bình luận17 phút đọc
Janas: Run LLMs larger than RAM by streaming experts from SSD
Tóm tắt bởi AI
Janas cho phép chạy mô hình ngôn ngữ lớn Qwen3-Next-80B (48 GB) trên laptop chỉ 32 GB RAM với tốc độ 37 token/giây, gấp 13 lần llama.cpp (2.8 token/giây) khi không dùng draft. Công nghệ này hoạt động bằng cách streaming experts từ SSD, đạt tốc độ đọc 62 token/giây so với 16 token/giây của llama.cpp. Janas đã vượt trội hơn llama.cpp trên tất cả 13 mô hình được so sánh trong bộ Q4_K_M. Điểm đáng học ở đây là cách Janas giải quyết bài toán lớn hơn RAM bằng streaming experts, tối ưu hiệu suất mà không cần GPU.
AI có thể tóm tắt sai. Đọc bài gốc trước khi dựa vào thông tin quan trọng.
Vì sao nên đọc: Janas giúp chạy các mô hình ngôn ngữ lớn hơn dung lượng RAM bằng cách chuyên gia hóa luồng từ SSD, tăng tốc độ xử lý gấp nhiều lần so với llama.cpp.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://github.com/prabanta-dev/janas. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Hệ sinh thái 8 Sync
Một tài khoản, cả hệ sinh thái
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
8syncdev.com
8syncdev.comCổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháKhóa học
course.8syncdev.comHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trìnhLuyện code
coding.8syncdev.com1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíIELTS
ielts.8syncdev.comChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíZUS — IDE AI
zus.8syncdev.comAI IDE 22 MB cho dev Việt.
Tải miễn phímind0
mind0.8syncdev.comBộ nhớ tổ chức cho AI agent.
Khám pháAcoLeads
home-acoleads.8syncdev.comAI trực Fanpage, tự sàng lọc lead.
Dùng thửĐề xuất cho bạn
daniel.haxx.se2 Hot4 phútAI
A slightly faster slimmer curl
Curl đã thực hiện bộ kiểm tra hiệu suất mới trong hai tháng qua, mang lại nhiều cải thiện tốc độ và bộ nhớ phiên bản 8.23.0. Các hàm Base64 encode/decode, URL encode/decode, date parsing, URL parsing, printf() và number parsing đều nhanh hơn đáng kể từ 20% đến 4 lần tùy chức năng. Cấu trúc core đã được rút gọn đáng kể: easy handle giảm từ 4256 xuống còn 3064 bytes, multi handle từ 900 xuống 656 bytes, và connectdata từ 824 xuống 656 bytes. Những giảm này cũng cắt giảm mức sử dụng bộ nhớ peak cho một lần HTTP download từ 130,622 xuống còn 126,875 bytes, với số lượng allocation giảm từ 100 xuống 96. Bộ kiểm tra này đã có sẵn trong repository git của curl để bất kỳ ai cũng có thể sử dụng.
Lập trình viên nên đọc bài này để hiểu những cải tiến hiệu năng đáng kể trong phiên bản curl 8.23.0, bao gồm tốc độ xử lý và giảm sử dụng bộ nhớ.
Lobsters2 Hot8 phútAI
Calling a function in C without naming it
Một sinh viên đã khai thác hệ thống chấm điểm từ xa bằng cách bypass cơ chế ngăn chặn gọi h execve trong C. Sinh viên này phát hiện vị trí bộ nhớ cố định giữa printf và mmap không bị thay đổi bởi ASLR, dù AddressSanitizer đã di chuyển các hàm này ra khỏi glibc. Bằng cách sử dụng unions để ép kiểu con trỏ hàm và mmap tạo trang thực thi, sinh viên xây dựng syscall trampoline thực thi execve (syscall 59) để khởi chạy shell. Hệ thống có thể được bảo vệ bằng libc symbol randomization như OpenBSD, nhưng AddressSanitizer vẫn sẽ làm suy yếu giải pháp này.
Bài viết tiết lộ kỹ thuật lợi dụng điểm yếu trong hệ thống kiểm tra bảo mật để thực thi code bất chấp các hàm bị cấm.
Lobsters1 Hot21 phútAI
The Goose Programming Language
Goose là ngôn ngữ lập trình mới với hướng tiếp cận độc đáo trong thiết kế system programming language. Goose được phát triển trên nền tảng Rust, tận dụng ưu điểm về bộ nhớ an toàn và hiệu suất cao. Ngôn ngữ này nhằm giải quyết bài toán về sự phức tạp trong C++ và Rust, đơn giản hóa cú pháp nhưng vẫn giữ được hiệu năng hệ thống. Goose cho thấy hướng đi mới cho các ngôn ngữ system-level programming, cân bằng giữa an toàn bộ nhớ và tính dễ sử dụng.
Lập trình viên nên đọc bài này để khám phá ngôn ngữ Goose độc đáo với triết lý thiết kế khác biệt trong thế giới lập trình.
Anton Zhiyanov41 Hot4 phútAI
Relying on Go
Bài viết đề cập đến việc tận dụng các công cụ (tooling) và thư viện chuẩn (standard library) của ngôn ngữ Go nhằm phát triển các hệ thống phần mềm hiệu quả.
Lập trình viên hệ thống nên đọc bài này để khám phá cách tối ưu hóa hiệu suất và tính bảo trì bằng cách tái sử dụng công cụ và thư viện tiêu chuẩn của Go, giúp phát triển ứng dụng nhanh hơn và đáng tin cậy hơn trong môi trường hệ thống phức tạp.
Lobsters1 Hot11 phútAI
C for Rust Programmers
Bối cảnh là lập trình viên Rust muốn chuyển sang ngôn ngữ C, một nền tảng hệ thống lâu đời hơn. Nguyên nhân kỹ thuật là C không cóOwnership và Borrow Checker như Rust, cho phép thao tác pointer tự do gây lỗi memory safety. Hệ quả là lập trình viên C phải quản lý bộ nhớ thủ công và tự chịu trách nhiệm về bugs liên quan đến bộ nhớ. Điều đáng học là cách xử lý strings trong C khác biệt với Rust, vì C không xác định độ dài chuỗi và không kiểm tra giới hạn buffer.
Bài viết này giúp lập trình viên Rust hiểu rõ những điểm khác biệt thú vị và cạm bẫy tiềm ẩn khi chuyển từ sang ngôn ngữ C.
Anton Zhiyanov63 Hot23 phútAI
Go-flavored concurrency in C
Bài viết phân tích cách triển khai các nguyên thủy lập trình song song theo phong cách Go trong C bằng POSIX threads cho dự án Solod (một trình biên dịch Go-to-C). Nó đề cập đến các wrapper cho mutex/cond, atomics, worker pools, channels có/không buffer, và so sánh hiệu năng chi tiết với Go. Kết quả chính: pthread-based concurrency gần tương đương Go (~10% chênh lệch) ở các tác vụ coarse-grained, nhưng chậm hơn 7-23 lần ở các thao tác fine-grained do chi phí đánh thức kernel, so với scheduler userspace của Go.
Bạn nên đọc để hiểu cách chuyển đổi cơ chế đồng thời kiểu Go sang C bằng pthreads, giúp hiểu rõ những trade-off giữa hiệu năng, phức tạp và sự tương thích khi xây dựng các ứng dụng đa luồng trên nền tảng C.
Anton Zhiyanov39 Hot12 phútAI
Solod 0.3: Concurrency, JSON, more safety
Solod 0.3 là phiên bản mới của ngôn ngữ lập trình Solod, hỗ trợ concurrency, JSON và cải thiện độ an toàn. Solod là tập con nghiêm ngặt của Go, có thể dịch sang C thông thường.
Lập trình viên muốn khám phá cách áp dụng tính đồng thời (concurrency) trong Go mà không cần phụ thuộc vào các tính năng phức tạp của ngôn ngữ, và tìm hiểu về Solod 0.3 – một biến thể của Go có thể biên dịch thành C – để mở rộng kiến thức về an toàn và hiệu suất trong các dự án mở rộng.
Lobsters34 Hot2 phútAI
GitHub - tomasz-lisowski/swsim: A software SIM card.
swSIM là trình giả lập SIM card hoàn toàn bằng phần mềm, mã nguồn mở, không cần phần cứng vật lý. Nó kết nối với PC qua PC/SC nhờ swICC reader, tương thích với mọi điện thoại có khe SIM, được xây dựng bằng make/gcc và không phụ thuộc runtime.
Lập trình viên phát triển ứng dụng di động hoặc hệ thống liên quan đến SIM card nên đọc để tìm hiểu cách tạo mô phỏng SIM card hoàn toàn phần mềm, giúp tiết kiệm chi phí phát triển và mở rộng khả năng tương thích với các thiết bị không cần thiết bị vật lý.
Bình luận
Đang tải bình luận…