I connected my local LLM to Discord, and now I can reach it from anywhere without opening a single port

The best thing about Debian is how old all of its software is

Debian nổi tiếng với việc giữ lại các bản phần mềm cũ nhưng vẫn được hỗ trợ, ví dụ như phiên bản stable thường sử dụng các package từ 2-3 năm trước. Triết lý này xuất phát từ mục tiêu chính là ổn định tuyệt đối thay vì cập nhật liên tục như các distro khác. Hệ quả là hệ thống Debian có độ tin cậy cao ít gặp lỗi ngẫu nhiên, nhưng thiếu các tính năng mới nhất của các công nghệ như Python 3.11 hay Rust 1.70. Điểm đáng học hỏi là cách cân bằng giữa sự ổn định và cập nhật - Debian chứng minh rằng không phải lúc nào cũng cần chạy theo công nghệ mới nhất.

Bài viết này giúp lập trình viên hiểu tại sao sự ổn định và hỗ trợ lâu dài trong Debian lại quan trọng cho dự án phần mềm.

Goodbye WordPress

Nolan Lawson đã di chuyển blog từ WordPress.com sang self-hosting sau 15 năm sử dụng. …

Portainer stopped supporting its community edition, so I switched to this simpler Docker manager instead

Dockge đã thay thế Portainer làm GUI cho Docker của tôi, với sự khác biệt về độ đơn giản là trời vực. Portainer ngừng hỗ trợ community edition khiến người dùng phải chuyển đổi, Dockge trở thành lựa chọn thay thế với giao diện tối giản hơn nhiều. Portainer có nhiều tính năng phức tạp và trọng lượng, trong khi Dockge chỉ tập trung vào visualization của file compose YAML, làm việc nhanh hơn đáng kể. Là một lập trình viên, bạn sẽ đánh giá cao sự tập trung của Dockge vào chức năng cốt lõi mà không bị rườm rà bởi các tính năng không cần thiết, đặc biệt nếu bạn ưu tiên tốc độ và sự đơn giản trong quản lý Docker environment.

Dockge là giải pháp quản lý Docker đơn giản hơn đáng kể so với Portainer sau khi Portainer ngừng hỗ trợ phiên bản cộng đồng.

Your local LLM is quietly wasting RAM on context you never use, and one setting gives it back

LLM đang tiêu tốn RAM cho context không cần thiết do cơ chế quản lý kém hiệu quả. Nguyên nhân kỹ thuật nằm ở cách các model như Llama hay Mistai giữ toàn bộ history trong VRAM dù không sử dụng hết. Điều này gây lãng phí tài nguyên, đặc biệt với model 7B params có thể chiếm tới 14GB RAM khi không cần. Hệ quả là giảm hiệu suất chạy và tăng chi phí hạ tầng. Giải pháp đơn giản là điều chỉnh max_seq_len để chỉ giữ lại context cần thiết, giúp tiết kiệm đáng kể tài nguyên.

Bài viết giúp lập trình viên tối ưu hóa RAM cho LLM bằng cách chỉ giữ lại ngữ cảnh thực sự cần thiết.

I dropped 900GB of duplicate files across my home server, and the tool that found them was free

Vấn đề lưu trữ 900GB file trùng lặp gây lãng phí không gian trên home server có thể được giải quyết bằng công cụ Krokiet. Phần mềm này sử dụng hash algorithm để so sánh nội dung file và xác định bản sao chính xác. Kết quả là giải phóng 900GB dung lượng mà không ảnh hưởng đến dữ liệu gốc. Bài viết đáng học vì giới thiệu giải pháp free, open-source hiệu quả để quản lý storage space. Lập trình viên sẽ đánh giá cao cách Krokiet xử lý duplicate detection mà không cần commercial license.

Bài tiết lộ công cụ Krokiet miễn phí giúp bạn dọn dẹp 900GB file trùng lặp trên máy chủ tại nhà.

My Raspberry Pi now fixes itself when services die, and I haven't SSHed in weeks

Tác giả đã phát triển một script tự động giám sát các dịch vụ Docker, Pi-Hole, Unbound và Tailscale trên Raspberry Pi. Script này tự động khởi động lại các dịch vụ khi chúng gặp sự cố, giúp thiết bị hoạt động liên tục mà không cần can thiệp thủ tục qua SSH. Giải pháp sử dụng các lệnh cơ bản của Linux kết hợp với Docker CLI để kiểm tra trạng thái dịch vụ, cho thấy không cần công cụ phức tạp để tự động hóa giám sát hệ thống. Bài viết minh họa cách tận dụng Raspberry Pi cho các tác vụ tự động hóa mạng với hiệu quả cao và chi phí thấp.

Tìm hiểu cách tự động hóa giám sát và phục hồi dịch vụ trên Raspberry Pi để tiết kiệm thời gian quản trị hệ thống.

I swapped TrueNAS for Debian and Cockpit on my 8GB home server, and got 2.5GB of RAM back

Tình trạng thiếu RAM trên server 8GB đã buộc tác giả phải chuyển từ TrueNAS sang Debian và Cockpit. TrueNAS dành tới 5.5GB RAM, trong khi Debian với Cockpit chỉ tốn khoảng 3GB. Việc thay thế giúp giải phóng 2.5GB RAM đáng kể, cải thiện hiệu suất hệ thống. Bài viết cung cấp hướng dẫn chi tiết về cài đặt Debian và Cockpit để người dùng có thể tự thực hiện.

Bài viết này giúp bạn tiết kiệm 2.5GB RAM khi chuyển từ TrueNAS sang Debian và Cockpit trên máy chủ 8GB.