I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

I gave my local LLM my browser history, and it built a better bookmark system than I ever had

My browsing history knew which bookmarks I needed better than I did.

Why Temperature 0 Isn't Deterministic in LLM Inference

Trong quá trình inference của LLM, temperature 0 không hoàn toàn quyết định như nhiều người vẫn nghĩ. Nguyên nhân kỹ thuật nằm ở cách thuật toán softmax hoạt động khi temperature bằng 0, làm cho xác suất của từ với highest score tiến tới 1 nhưng không bao giờ đạt hoàn toàn 1 trong thực tế. Điều này dẫn đến kết quả có vẻ ngẫu nhiên dù xác suất đã được chuẩn hóa, gây ra sự không chắc chắn nhỏ trong kết quả output. Điều đáng học là việc hiểu behavior của temperature trong LLM không đơn giản như tưởng tượng, đòi hỏi hiểu biết sâu về cách hoạt động của softmax và quy trình sampling text generation.

Bạn nên đọc bài này để hiểu cách giải quyết một vấn đề cơ bản nhưng thường bị nhầm lẫn trong việc phân tích và tối ưu hóa mô hình ngôn ngữ lớn, giúp tránh sai lầm trong việc thiết kế và triển khai hệ thống AI.

Jellyfin supports 7 hardware transcoding methods — here's which one your server can use

Jellyfin hiện hỗ trợ 7 phương pháp transcoding phần cứng khác nhau, giúp giảm tải cho CPU của server. Nguyên nhân kỹ thuật là do Jellyfin tích hợp với các API như NVIDIA NVENC, AMD VCE và Intel Quick Sync để tận dụng khả năng mã hóa/hủy mã hóa của bộ xử lý đồ họa. Hệ quả là server có thể xử lý nhiều luồng media hơn với nhiệt độ và tiêu thụ năng lượng thấp hơn. Điều đáng học là bạn có thể tối ưu hóa hiệu năng Jellyfin bằng cách kiểm tra transcoding method đang được sử dụng và cấu hình phù hợp với phần cứng của mình.

Bài viết này giúp bạn xác định phương pháp chuyển mã hardware tối ưu nhất cho server Jellyfin, giảm tải cho CPU và tăng hiệu suất phát lại.

Edi Life OS: Self-Hosted Personal Dashboard with MCP

Edi Life OS là một nền tảng dashboard cá nhân tự host kết hợp thói quen, mục tiêu, Kanban …

I ran a 9B model trained on Claude's reasoning on my 8GB GPU, and it made me rethink paying for Claude

Tác giả đã chạy được model 9B parameters trên GPU 8GB mà không cần trả phí, thách thức …

Let's Encrypt is cutting certificate lifetimes to 64 days, so I automated my renewals

Let's Encrypt đã giảm thời hạn hiệu lực chứng chỉ SSL từ 90 ngày xuống còn 64 ngày để tăng cường bảo mật. Thay đổi này buộc người dùng phải tự động hóa quy trình gia hạn chứng chỉ thay vì làm thủ công. Việc chứng chỉ hết hạn có thể gây gián đoạn website và mất kết nối HTTPS với trình duyệt. Để giải quyết vấn đề, tác giả đã triển khai giải pháp tự động gia hạn bằng ACME client với cron job, đảm bảo chứng chỉ luôn được cập nhật mà không cần can thiệp thủ công.

Để tự động gia hạn chứng chỉ SSL trước khi thời hạn giảm còn 64 ngày và tránh gián đoạn website.

How Apple Fits an LLM on Your iPhone

Apple tích hợp LLM lớn trên iPhone bằng cách sử dụng Transformer architecture và kỹ thuật quantization giảm độ chính xác từ 32-bit xuống 4-bit. Công nghệ này cho phép model hoạt động hiệu quả với hạn chế bộ nhớ và điện năng của thiết bị di động. Hệ quả là người dùng có thể trải nghiệm các tính năng AI mạnh mẽ ngay trên thiết bị mà không cần kết nối internet. Bài viết đáng học hỏi ở chỗ Apple đã tối ưu hóa hiệu suất mô hình thông qua kỹ thuật distillation và các bản đặc biệt của on-device neural engine.

Bài này giải thích cách Apple tối ưu hóa mô hình LLM để chạy trơn tru trên iPhone mà không ảnh hưởng đến hiệu năng thiết bị.

Turn Your Media Server Into a TV Station With Tunarr

Tunarr biến thư viện Plex, Jellyfin hoặc Emby của bạn thành các kênh TV trực tuyến tùy chỉnh với lịch phát sóng và TV guide truyền thống. Công nghệ này cho phép người dùng tạo hàng trăm kênh từ nội dung hiện có mà không cần đầu tư vào cơ sở hạ tầng phát sóng đắt đỏ. Hệ quả là bạn có thể trải nghiệm xem TV theo kiểu truyền thống nhưng với nội dung đã sở hữu và kiểm soát. Đáng học hỏi ở Tunarr là cách nó giải quyết nhu cầu xem có định hướng mà không phá vỡ thói quen sử dụng media server hiện tại.

Tunarr biến thư viện Plex, Jellyfin hoặc Emby của bạn thành đài phát sóng TV cá nhân hóa với lịch trình và hướng dẫn TV truyền thống.