I connected my local LLM to Discord, and now I can reach it from anywhere without opening a single port

Goodbye WordPress

Nolan Lawson đã di chuyển blog từ WordPress.com sang self-hosting sau 15 năm sử dụng. …

Portainer stopped supporting its community edition, so I switched to this simpler Docker manager instead

Dockge đã thay thế Portainer làm GUI cho Docker của tôi, với sự khác biệt về độ đơn giản …

I dropped 900GB of duplicate files across my home server, and the tool that found them was free

Vấn đề lưu trữ 900GB file trùng lặp gây lãng phí không gian trên home server có thể được giải quyết bằng công cụ Krokiet. Phần mềm này sử dụng hash algorithm để so sánh nội dung file và xác định bản sao chính xác. Kết quả là giải phóng 900GB dung lượng mà không ảnh hưởng đến dữ liệu gốc. Bài viết đáng học vì giới thiệu giải pháp free, open-source hiệu quả để quản lý storage space. Lập trình viên sẽ đánh giá cao cách Krokiet xử lý duplicate detection mà không cần commercial license.

Bài tiết lộ công cụ Krokiet miễn phí giúp bạn dọn dẹp 900GB file trùng lặp trên máy chủ tại nhà.

Your local LLM is quietly wasting RAM on context you never use, and one setting gives it back

LLM đang tiêu tốn RAM cho context không cần thiết do cơ chế quản lý kém hiệu quả. Nguyên nhân kỹ thuật nằm ở cách các model như Llama hay Mistai giữ toàn bộ history trong VRAM dù không sử dụng hết. Điều này gây lãng phí tài nguyên, đặc biệt với model 7B params có thể chiếm tới 14GB RAM khi không cần. Hệ quả là giảm hiệu suất chạy và tăng chi phí hạ tầng. Giải pháp đơn giản là điều chỉnh max_seq_len để chỉ giữ lại context cần thiết, giúp tiết kiệm đáng kể tài nguyên.

Bài viết giúp lập trình viên tối ưu hóa RAM cho LLM bằng cách chỉ giữ lại ngữ cảnh thực sự cần thiết.

I swapped TrueNAS for Debian and Cockpit on my 8GB home server, and got 2.5GB of RAM back

Tình trạng thiếu RAM trên server 8GB đã buộc tác giả phải chuyển từ TrueNAS sang Debian và Cockpit. TrueNAS dành tới 5.5GB RAM, trong khi Debian với Cockpit chỉ tốn khoảng 3GB. Việc thay thế giúp giải phóng 2.5GB RAM đáng kể, cải thiện hiệu suất hệ thống. Bài viết cung cấp hướng dẫn chi tiết về cài đặt Debian và Cockpit để người dùng có thể tự thực hiện.

Bài viết này giúp bạn tiết kiệm 2.5GB RAM khi chuyển từ TrueNAS sang Debian và Cockpit trên máy chủ 8GB.

DEBIX M8391-01 industrial SBC features MediaTek Genio 720 SoC with 9 TOPS NPU, dual-display support

DEBIX M8391-01 là bo mạch công nghiệp compact sử dụng MediaTek MT8391 (Genio 720) SoC, được thiết kế cho edge AI, computer vision và robotics. Sản phẩm có NPU mạnh mẽ với 9 TOPS, hỗ trợ dual-display và đủ port giao tiếp cần thiết. Khả năng xử lý AI của board này đủ mạnh cho các ứng dụng vision tại edge với độ trễ thấp. Board này đáng cân nhắc nếu bạn cần giải pháp tính toán edge AI với hiệu năng cao mà không cần chi phí cho các thiết bị industrial-grade đắt đỏ hơn.

Bài này giới thiệu bo mạch công nghiệp DEBIX M8391-01 với con MediaTek Genio 720 có NPU 9 TOPS, hỗ trợ AI và thị giác máy tính tại biên.

AI On Your Gaming PC

Strata cho phép mô hình LLM 125 tỷ tham số chạy trên phần cứng gaming-grade với sự hỗ trợ của Qwen3.8 mixture-of-experts 24,576 chuyên gia chỉ kích hoạt 10 chuyên gia mỗi token. VRAM hoạt động như cache cho chuyên gia được sử dụng thường xuyên, phần lớn mô hình nằm trong RAM, và bảng tra cứu 29 GB nằm trên SSD. Kỹ thuật speculative decoding giúp đạt tốc độ 50-90 token/giây trên RTX 5070 12 GB VRAM. Dù có API tương thích OpenAI và Anthropic, chất lượng trả lời còn hạn chế so với các mô hình lớn hơn, với yêu cầu thực tế khoảng 32 GB RAM, 12 GB VRAM và 80 GB lưu trữ.

Bài viết này giúp bạn hiểu cách triển khai AI quy mô lớn trên máy tính cá nhân mà không cần GPU chuyên dụng từ trung tâm dữ liệu.