My self-hosted AI models research, code, and generate images, and all they cost is a GPU I already own

GitHub Copilot Fusion now supports selection of local models

GitHub Copilot Fusion now supports routing between local and cloud models in experimental preview. It works in Copilot CLI, the Copilot app, and VS Code. On Windows, you can download and configure MAI Code 1.1 Flash through the Windows ML provider with a managed setup. On Windows, macOS, and Linux, you can manually configure MAI Code 1.1 Flash or Qwen3.8 Flash Next through a local OpenAI-compatible server. Selecting 'Standard' in Copilot Fusion lets Copilot choose between eligible local and cloud models. Local inference doesn't make sessions offline, since routing decisions still happen in the cloud, and local models may have different safety protections than cloud models.

I gave my local LLM my browser history, and it built a better bookmark system than I ever had

My browsing history knew which bookmarks I needed better than I did.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với …

Jellyfin supports 7 hardware transcoding methods — here's which one your server can use

Jellyfin hiện hỗ trợ 7 phương pháp transcoding phần cứng khác nhau, giúp giảm tải cho CPU của server. Nguyên nhân kỹ thuật là do Jellyfin tích hợp với các API như NVIDIA NVENC, AMD VCE và Intel Quick Sync để tận dụng khả năng mã hóa/hủy mã hóa của bộ xử lý đồ họa. Hệ quả là server có thể xử lý nhiều luồng media hơn với nhiệt độ và tiêu thụ năng lượng thấp hơn. Điều đáng học là bạn có thể tối ưu hóa hiệu năng Jellyfin bằng cách kiểm tra transcoding method đang được sử dụng và cấu hình phù hợp với phần cứng của mình.

Bài viết này giúp bạn xác định phương pháp chuyển mã hardware tối ưu nhất cho server Jellyfin, giảm tải cho CPU và tăng hiệu suất phát lại.

Edi Life OS: Self-Hosted Personal Dashboard with MCP

Edi Life OS là một nền tảng dashboard cá nhân tự host kết hợp thói quen, mục tiêu, Kanban …

I ran a 9B model trained on Claude's reasoning on my 8GB GPU, and it made me rethink paying for Claude

Tác giả đã chạy được model 9B parameters trên GPU 8GB mà không cần trả phí, thách thức …

Let's Encrypt is cutting certificate lifetimes to 64 days, so I automated my renewals

Let's Encrypt đã giảm thời hạn hiệu lực chứng chỉ SSL từ 90 ngày xuống còn 64 ngày để tăng cường bảo mật. Thay đổi này buộc người dùng phải tự động hóa quy trình gia hạn chứng chỉ thay vì làm thủ công. Việc chứng chỉ hết hạn có thể gây gián đoạn website và mất kết nối HTTPS với trình duyệt. Để giải quyết vấn đề, tác giả đã triển khai giải pháp tự động gia hạn bằng ACME client với cron job, đảm bảo chứng chỉ luôn được cập nhật mà không cần can thiệp thủ công.

Để tự động gia hạn chứng chỉ SSL trước khi thời hạn giảm còn 64 ngày và tránh gián đoạn website.

How Apple Fits an LLM on Your iPhone

Apple tích hợp LLM lớn trên iPhone bằng cách sử dụng Transformer architecture và kỹ thuật quantization giảm độ chính xác từ 32-bit xuống 4-bit. Công nghệ này cho phép model hoạt động hiệu quả với hạn chế bộ nhớ và điện năng của thiết bị di động. Hệ quả là người dùng có thể trải nghiệm các tính năng AI mạnh mẽ ngay trên thiết bị mà không cần kết nối internet. Bài viết đáng học hỏi ở chỗ Apple đã tối ưu hóa hiệu suất mô hình thông qua kỹ thuật distillation và các bản đặc biệt của on-device neural engine.

Bài này giải thích cách Apple tối ưu hóa mô hình LLM để chạy trơn tru trên iPhone mà không ảnh hưởng đến hiệu năng thiết bị.