Introducing CUDA Rust: Two Tracks for Writing GPU Kernels

Four Months of Zig

A developer reflects on four months of using Zig after returning to it from Rust. She praises Zig's explicit allocator and IO parameters, its build system (adopted by Uber for software written in other languages), comptime, and its lean dependency culture, where her projects have one or two direct dependencies and zero indirect ones versus dozens of indirect dependencies in Rust. Incremental compilation via 'zig build --watch -fincremental' currently only works on x86_64 Linux and macOS. She criticizes poor documentation, missing lifetime checks for stack-allocated buffers, lack of compile-time allocators for JSON parsing, and Zig's bootstrapping process that blocks Debian packaging. She still plans to keep using Zig as her go-to language for most projects.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với …

TLA-Verus: LLM agents prove temporal properties of TLA+ specs

TLA-Verus sử dụng LLM agents để chứng minh tính chất safety và liveness cho spec TLA+ bằng cách chuyển chúng sang Verus Rust verifier. Trong nghiên cứu với 16,459 cặp (spec, property) từ 2,734 module, TranSpec đã dịch được 6,070 spec, trong đó 5,160 được định nghĩa rõ ràng và 3,094 được chứng minh thành công với chi phí khoảng 2 USD/bằng chứng. Tỷ lệ thành công cho liveness proofs khá thấp chỉ đạt 38% (304/809). Các benchmark cho thấy Opus-5 và GPT-5.6-sol-pro giải được tất cả 40 task trong khi gpt-oss-120b không giải được cái nào, và DeepSeek-R1 giảm từ 74.7% xuống còn 17.5% so với verusbench. Điểm hạn chế là không có code nào biên dịch được và không có refinement proof nối kết spec Verus về lại nghĩa gốc TLA+.

Những thử nghiệm này chứng minh cách AI hiện đại có thể tự động hóa chứng minh tính toàn vẹn cho các mô tả logic phức tạp, giúp lập trình viên hiểu rõ giới hạn và tiềm năng của các công cụ tự động hóa trong việc bảo đảm an toàn hệ thống mà không cần viết code thực thi.

Jellyfin supports 7 hardware transcoding methods — here's which one your server can use

Jellyfin hiện hỗ trợ 7 phương pháp transcoding phần cứng khác nhau, giúp giảm tải cho CPU của server. Nguyên nhân kỹ thuật là do Jellyfin tích hợp với các API như NVIDIA NVENC, AMD VCE và Intel Quick Sync để tận dụng khả năng mã hóa/hủy mã hóa của bộ xử lý đồ họa. Hệ quả là server có thể xử lý nhiều luồng media hơn với nhiệt độ và tiêu thụ năng lượng thấp hơn. Điều đáng học là bạn có thể tối ưu hóa hiệu năng Jellyfin bằng cách kiểm tra transcoding method đang được sử dụng và cấu hình phù hợp với phần cứng của mình.

Bài viết này giúp bạn xác định phương pháp chuyển mã hardware tối ưu nhất cho server Jellyfin, giảm tải cho CPU và tăng hiệu suất phát lại.

How Anthropic ships the #1 LLM in the World safely: Separating the Brain from the Hands

Anthropic phát triển Claude Platform với kiến trúc tách biệt model "brain" và agent "hands" để tăng độ an toàn. Trong tập mới nhất, họ chia sẻ kỹ thuật triển khai Opus 5.5, mô hình LLM số 1 thế giới hiện nay. Hệ thống này cho phép tách biệt hoàn toàn tư duy của AI khỏi hành động thực thi, giảm thiểu rủi ro bảo mật đáng kể. Bài viết cung cấp chi tiết về cách Anthropic scale API và xây dựng managed agents đáng tin cậy, rất hữu ích cho lập trình viên muốn hiểu sâu về kiến trúc an toàn cho AI.

Bài này giải thích cách Anthropic tách biệt "bộ não" mô hình AI khỏi "cánh tay" tác nhân để đảm bảo an toàn và hiệu quả khi phát triển ứng dụng Claude.

Why Temperature 0 Isn't Deterministic in LLM Inference

Trong quá trình inference của LLM, temperature 0 không hoàn toàn quyết định như nhiều người vẫn nghĩ. Nguyên nhân kỹ thuật nằm ở cách thuật toán softmax hoạt động khi temperature bằng 0, làm cho xác suất của từ với highest score tiến tới 1 nhưng không bao giờ đạt hoàn toàn 1 trong thực tế. Điều này dẫn đến kết quả có vẻ ngẫu nhiên dù xác suất đã được chuẩn hóa, gây ra sự không chắc chắn nhỏ trong kết quả output. Điều đáng học là việc hiểu behavior của temperature trong LLM không đơn giản như tưởng tượng, đòi hỏi hiểu biết sâu về cách hoạt động của softmax và quy trình sampling text generation.

Bạn nên đọc bài này để hiểu cách giải quyết một vấn đề cơ bản nhưng thường bị nhầm lẫn trong việc phân tích và tối ưu hóa mô hình ngôn ngữ lớn, giúp tránh sai lầm trong việc thiết kế và triển khai hệ thống AI.

Accelerating HTTP Web Servers With In-Kernel eBPF Deliver Up To 4.5x Throughput

Nghiên cứu từ ETH Zurich, NYU và NVIDIA đã phát triển Beeper, dự án sử dụng eBPF để phân tích protocol tầng ứng dụng (L7). Trình phân tích HTTP được implement trong Beeper cùng với cache trong kernel đã tăng throughput lên đến 3x ở tốc độ request cao. Hyper-fast-path, dự án dựa trên eBPF cho thư viện HTTP Hyper Rust, đạt cải thiện throughput tối đa lên đến 4.5x. Beeper được viết bằng Rust và mã nguồn có sẵn trên GitHub.

Lập trình viên nên đọc bài này để biết cách eBPF giúp tăng tốc độ máy chủ HTTP lên đến 4.5 lần và cải thiện hiệu suất đáng kể.

Show HN: Spotatui, a Spotify TUI/GUI without web API rate limits

Spotatui là một ứng dụng trình phát nhạc terminal tự viết bằng Rust, kết nối trực tiếp với Spotify mà không cần qua web API, tránh giới hạn rate limits. Công nghệ này sử dụng thư viện librespot và nghe được nhiều nguồn nhạc như Spotify, local files, Subsonic, radio, Qobuz và YouTube trong một giao diện terminal. Người dùng không còn lo về giới hạn API của Spotify mỗi khi muốn phát nhạc. Với việc tự build protocol, Spotatui cung cấp trải nghiệm nghe nhạc mượt mà mà không phụ thuộc vào REST API. Đáng học hỏi ở đây là cách tiếp cận reverse engineering để tự xây dựng client thay vì phụ thuộc vào API chính thức của nền tảng.

Một lập trình viên nên đọc bài này vì Spotatui mang lại trải nghiệm nghe nhạc Spotify trực tiếp trong terminal mà không bị giới hạn API.