Running local LLMs on your NPU from R with Foundry Local and ellmer

My 7-year-old GPU runs local AI perfectly, and I don't need my cloud subscriptions anymore

Các mô hình MoE và kỹ thuật lượng tử hóa (quantization) cho phép chạy AI cục bộ trên GPU cũ 8GB VRAM như RTX 2070 Super, thay thế được các gói cloud nhờ các model như Qwen3-Coder 8B hay Gemma 4 E4B. Các công cụ như Ollama (dòng lệnh) hay LM Studio (GUI) giúp triển khai dễ dàng, nhưng cần lưu ý tốc độ sinh token, kích thước cửa sổ ngữ cảnh và hỗ trợ tool calling.

Nếu bạn đang tìm cách tiết kiệm chi phí và tăng hiệu suất cho các ứng dụng AI hàng ngày mà vẫn giữ được chất lượng cao, thì bài viết này sẽ cho bạn cách tối ưu hóa mô hình AI với GPU cũ và công nghệ MoE/quantization để làm việc hiệu quả mà không cần phụ thuộc vào cloud.

I ran my local LLM for hours and watched it get dumber in real time

Chạy mô hình Qwen 3.6 27B cục bộ trên RTX 5090 trong thời gian dài khiến hiệu suất giảm do VRAM (trên 32GB) bị tràn sang RAM hệ thống qua PCIe, gây ra bởi KV cache chiếm dụng bộ nhớ cho ngữ cảnh 262K. Khi cuộc trò chuyện dài, mô hình mất dần hướng dẫn ban đầu và lịch sử do ngữ cảnh đầy, mặc dù kiến trúc hybrid (chỉ 16/64 lớp dùng attention đầy đủ) giúp giảm bớt KV cache. Giải pháp là khởi tạo cuộc trò chuyện mới hoặc tải lại mô hình để xóa cache.

Lập trình viên nên đọc bài này để hiểu cách quản lý bộ nhớ và cache trong các mô hình LLM lớn, giúp tránh tình trạng hiệu suất suy giảm do quá tải VRAM và mất lịch sử cuộc trò chuyện trong các ứng dụng thực tế.

I switched my local LLM setup to Ollama's new MLX engine, and my Mac suddenly feels twice as fast

Ollama's new MLX engine delivers significant performance gains for local LLM inference on Apple Silicon Macs. The update leverages Apple's unified memory architecture more effectively, combines GPU operations into larger Metal kernels via MLX's JIT compiler, and improves GPU-backed token sampling — resulting in roughly 20% higher output speed over the previous Q4_K_M implementation. Quality also improves through support for NVIDIA's NVFP4 quantization format, which cuts quality loss by about half compared to Q4_K_M at similar memory usage. A redesigned snapshot-based caching system replaces traditional prefix caching for agent workflows, allowing coding assistants like Claude Code and Aider to resume from saved model states rather than rebuilding context on every tool call — meaningfully reducing latency in multi-agent setups.

I run a 24GB GPU instead of paying for Claude or Codex, and Qwen 3.6 keeps up more than I expected

Running Qwen 3.6 27B locally on an RTX 5090 as an alternative to paid cloud LLM subscriptions like Claude or Codex. The author compares Qwen 3.6 27B against Claude Opus 4.8 on coding tasks including bug detection and CSV parsing, finding the local model competitive for most everyday use cases. Key motivations include avoiding per-token billing changes, data privacy, and freedom to choose any harness tool. The main tradeoff is inference speed — local hardware is slower than cloud APIs.

stick function for the EDA in time series

A new stick function (Seasonal, Trend, Irregular Contribution Kit) has been added to the greybox package for both R and Python. Based on Hans Levenbach's STI classification, it uses ANOVA to quantify the strength of seasonal, trend, and irregular components in a time series. Applied to the classic AirPassengers dataset, it reveals that trend accounts for ~86% of variability. The function supports multiple seasonal components and may be extended to include external regressors in the future.

Using Local Coding Agents

A comprehensive tutorial on setting up a fully local coding agent stack using open-weight LLMs as an alternative to proprietary services like Claude Code and Codex. Covers installing Ollama to serve models locally (primarily Qwen3.6 35B-A3B), connecting it to three harnesses (Qwen-Code, Codex CLI, and Claude Code), performing speed and benchmark assessments, auditing agent codebases for security and telemetry risks, and configuring privacy settings. Includes token usage comparisons across harnesses (Claude Code uses far more input tokens), a cross-machine SSH tunnel setup for running the model on a separate DGX Spark while coding on a Mac, and benchmark results showing Qwen3.6 and North Mini Code outperform smaller models like Gemma 4 E2B for agentic tool-use tasks.

Untitled

Google giới thiệu mô hình Gemma QAT (quantization-aware training) có thể chạy cục bộ chỉ với dưới 7GB VRAM, phù hợp cho phần cứng tiêu dùng như RTX 3060. Hướng dẫn bao gồm cài đặt Ollama, tải mô hình Gemma QAT int4, xây dựng dịch vụ Node.js với retry logic, Express proxy, và tích hợp React chat component qua Vite. QAT cải thiện chất lượng 4-bit so với BF16 trên các benchmark như MMLU và HumanEval. Yêu cầu tối thiểu là 6GB VRAM rời hoặc 16GB RAM thống nhất trên Apple Silicon, cùng các mẹo tối ưu hiệu suất.

Lập trình viên muốn phát triển ứng dụng AI trên thiết bị cá nhân hiệu quả mà không cần cloud đắt tiền nên đọc để hiểu cách triển khai mô hình LLM nhẹ (Gemma QAT) với VRAM thấp và xây dựng stack hoàn chỉnh từ cài đặt đến giao diện người dùng.