#llama-cpp

I replaced Gemini and ChatGPT on my phone with my gaming PC’s 26B model, and the app that does it is free

Farewell, bloated AI apps!

How to run an LLM locally

Run an LLM locally with Ollama. See how much memory you need, where LM Studio and llama.cpp fit, and how to call the model from code.

I put a local AI model on a bootable USB, so I can troubleshoot a dead PC with a chatbot that doesn't need the internet

My rescue USB now also helps me make sense of disk errors.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với tốc độ đáng kinh ngạc. Nguyên nhân kỹ thuật nằm ở việc chỉnh sửa cờ n_gpu_layers trong llama.cpp, cho phép tận dụng hiệu quả bộ nhớ VRAM thay vì để nó trở thành điểm nghẽn. Hệ quả là model 35B parameters chạy nhanh đến mức người dùng không kịp theo dõi, vượt xa các kỳ vọng ban đầu về giới hạn phần cứng. Điều đáng học hỏi là đôi khi vấn đề không nằm ở cấu hình phần cứng mà ở cách tối ưu hóa phần mềm để khai thác tiềm năng thực sự của hardware.

Bài viết tiết lộ cách tối ưu hóa một cờ trong llama.cpp để chạy mô hình 35B trên GPU 8GB nhanh hơn tốc độ đọc của bạn.

My local LLM didn't replace my $20 Claude subscription, it replaced everything I was never comfortable sending to the cloud

Trong bối cảnh quan ngại về bảo mật dữ liệu khi sử dụng các cloud AI services, Qwen3.6 đã trở thành giải pháp thay thế cho nhiều tác vụ mà tác giả không muốn gửi lên cloud. Mô hình local này tuy có hạn chế trong một số khả năng xử lý nhưng đảm bảo dữ liệu người dùng hoàn toàn an toàn. Việc sử dụng Qwen3.6 giúp loại bỏ nhu cầu trả $20/tháng cho Claude subscription trong khi vẫn đáp ứng các tác vụ cốt lõi. Điều đáng học là chúng ta có thể cân nhắc sử dụng các local models khi xử lý dữ liệu nhạy cảm mà không cần hy sinh hiệu năng quá nhiều.

Bài viết này giúp lập trình viên hiểu cách sử dụng LLM cục bộ để bảo vệ dữ liệu nhạy cảm thay vì gửi lên dịch vụ đám mây.

4 jobs my local AI handles for free that I would never trust with a cloud model

Not all my information is meant to reach OpenAI's servers

I gave my Windows 11 clipboard a local LLM brain, and it made trivial copy-paste operations a lot more productive

Since everything remains local, I can run inference operations on private clipboard data freely

I replaced Grammarly Pro with a local model on my GPU, and my drafts never leave my PC

My local LLM replaces yet another subscription for effectively $0

My Windows 11 PC can run containers without Docker Desktop, and the entire setup took one command

Windows 11 giờ có thể chạy containers mà không cần Docker Desktop nhờ tính năng WSL 2 (Windows Subsystem for Linux 2) tích hợp sẵn. Việc thiết lập chỉ mất một lệnh wsl --install để kích hoạt và cài đặt Ubuntu Linux, sau đó dùng Podman như container engine thay thế. Hệ quả là người dùng Windows có thể quản lý containers ngay trên hệ thống mà không tốn tài nguyên chạy Docker Desktop, giải quyết vấn đề về RAM và CPU chiếm dụng. Điều đáng học là cách Microsoft đã thành công trong việc tích hợp hệ sinh thái container Linux vào Windows mà không cần lớp ảo hóa phức tạp, mở ra hướng phát triển mới cho các lập trình viên Windows.

Bài hướng dẫn này giúp bạn thiết lập container trên Windows 11 chỉ bằng một lệnh duy nhất, bỏ qua nhu cầu cài Docker Desktop.

dukehoff-decide: Typed, Calibrated Decisions from Small Language Models

Many LLM calls in Java apps are multiple choice. dukehoff-decide answers them with a small local model and returns a typed value with calibrated probabilities.

LattePanda Mu Ultra Review – An Intel Core Ultra 7 256V AI Compute Module tested on Ubuntu 26.04

Today, I'm going to review the LattePanda Mu Ultra, a compact x86 compute module designed for on-device AI applications. It comes in two versions, powered

My RTX Spark laptop still doesn't have Copilot+ features, so a local LLM on the same machine built its own from one prompt

It called it "Spark Copilot", and it works similarly to the real thing.

I Retested My MoE Offloading Benchmarks. Some of My Conclusions Changed.

A follow-up to my original 16GB GPU experiment, this time with consistent quantization, repeated... Tagged with ai, machinelearning, llm.

I tested Nvidia’s Nemotron 3.5 Bolt, and it changed what I thought my 16GB GPU could do

A 16GB GPU can run agentic AI now, and it's surreal

My self-hosted AI models research, code, and generate images, and all they cost is a GPU I already own

Tác giả tự triển khai các AI model cho nghiên cứu, viết code và tạo ảnh chỉ với GPU đã sở hữu, với chi phí duy nhất là 20 USD đóng vào tài khoản tiết kiệm. Các dự án sử dụng công nghệ như Stable Diffusion và LLaMA giúp tối ưu hóa tài nguyên phần cứng hiện có. Phương pháp này chứng minh rằng việc tự host AI model không tốn kém như nhiều người nghĩ, đặc biệt với card GPU có sẵn. Các lập trình viên có thể học hỏi cách tận dụng tối đa công nghệ open-source và optimize infrastructure để giảm chi phí đáng kể.

Bài viết tiết lộ cách tận dụng GPU hiện có để tự host mô hình AI với chi phí chỉ 20 đô la.

I tried turning my old Samsung Galaxy into a local LLM-hosting machine, and it worked better than I expected

Tác giả đã chuyển đổi thành công chiếc Samsung Galaxy cũ thành máy chạy local LLM (Large Language Model). Để thực hiện điều này, ông phải sử dụng nhiều giải pháp thay thế (workarounds) do phần cứng của thiết bị có hạn chế. Kết quả cho thấy hiệu năng của thiết bị cũ vẫn có thể đáp ứng nhu cầu chạy mô hình ngôn ngữ lớn. Điều này mở ra khả năng tận dụng các thiết bị cũ thay vì phải đầu tư vào phần cứng đắt đỏ cho AI. Bài viết cung cấp kinh nghiệm thực tế về tối ưu hóa LLM trên thiết bị di động có giới hạn tài nguyên.

Bài viết chia sẻ kinh nghiệm biến điện thoại cũ thành máy hosting LLM với hiệu suất vượt mong đợi, qua đó tiết kiệm chi phí và tận dụng thiết bị bỏ đi.

MoE models changed what "fits on my GPU" means, and most hardware advice hasn't caught up

Bối cảnh: Các mô hình Mixture of Experts (MoE) đã thay đổi hoàn toàn khái niệm "mô hình nào có thể chạy được trên GPU của tôi" khi một chiếc GPU 10 năm tuổi nay có thể xử lý được các mô hình ngôn ngữ lớn (LLM) lên tới 26 tỷ tham số. Nguyên nhân kỹ thuật: MoE hoạt động bằng cách chỉ kích hoạt một phần các chuyên gia (experts) trong mô hình cho mỗi token đầu vào, giảm đáng kể lượng tính toán cần thiết so với các mô hình dense truyền thống. Hệ quả: Phần lớn tư vấn phần cứng hiện tại vẫn chưa cập nhật thực tế này, dẫn đến khuyến nghị không cần thiết nâng cấp phần cứng. Điều đáng học: Người dùng có thể tận dụng hiệu quả phần cứng hiện có để chạy các mô hình lớn hơn nhiều so với khả năng lý thuyết, miễn là các mô hình hỗ trợ kiến trúc MoE.

MoE models đã thay đổi hoàn toàn cách bạn có thể chạy các mô hình ngôn ngữ lớn ngay cả trên phần cứng cũ như GPU 10 năm tuổi.

I put all of Wikipedia on my home server, and it still answers when the internet is down

Bạn có thể lưu trữ toàn bộ Wikipedia trên server gia đình, kèm với local LLM để trả lời câu hỏi ngay cả khi mất internet. Toàn bộ Wikipedia chỉ chiếm khoảng 88GB khi nén, có thể cài đặt qua Kiwix và sử dụng công cụ ZimReader. Quy trình xử lý bao gồm chuyển đổi Wikipedia sang định dạng ZIM, sau đó sử dụng Mistral 7B model để trả lời các truy vấn dựa trên nội dung địa phương. Khi mất internet, hệ thống này vẫn hoạt động bình thường và trả lời chính xác các câu hỏi về kiến thức trong Wikipedia. Đây là giải pháp tuyệt vời cho người cần truy cập ngoại tuyến hoặc muốn có kho dữ liệu cá nhân độc lập với kết nối mạng.

Lập trình viên nên đọc bài này vì nó hướng dẫn cách lưu trữ toàn bộ Wikipedia tại nhà và sử dụng LLM cục bộ để tra cứu ngay cả khi mất kết nối internet.

Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console

Một lập trình viên đã port được llama.cpp, framework inference cho mô hình LLM, lên console PS5 đã jailbreak. Để thực hiện điều này, tác giả đã tận dụng kiến trúc x86-64 và 16GB RAM của PS5, cùng với hệ điều hành FreeBSD tương thích Linux. Kết quả là có thể chạy natively các mô hình GGUF như Qwen 3.8 (7 tỷ parameters) trên console gaming với hiệu năng đáng ngạc nhiên. Dự án này mở ra khả năng sử dụng console bị jailbreak như máy inference LLM giá rẻ, đặc biệt hữu ích cho AI researcher muốn thử nghiệm model tại chỗ. Source code dự án có sẵn trên GitHub với hướng dẫn chi tiết để người dùng tự port lên thiết bị của mình.

Tìm hiểu cách chạy mô hình GGUF gốc trên PS5 đã jailbreak cho trải nghiệm AI trực tiếp trên console.

I moved my local models from Ollama to llama.cpp, and the reason I stayed has nothing to do with speed

Tác giả chuyển đổi các model local từ Ollama sang llama.cpp không phải vì tốc độ xử lý. Lý do chính là sự tiện lợi trong việc quản lý và khởi động model với llama.cpp sử dụng file cấu hình đơn giản. Ollama mặc dù cung cấp API thân thiện nhưng lại gặp vấn đề với việc quản lý phiên làm việc và chiếm dụng bộ nhớ cao hơn. Đáng học hỏi là việc lựa chọn công nghệ nên dựa trên trải nghiệm người dùng và khả năng tích hợp thực tế thay vì chỉ tập trung vào hiệu suất đơn thuần.

Bài viết này cho thấy rằng khi di chuyển mô hình từ Ollama sang llama.cpp, sự tiện lợi quan trọng hơn tốc độ tạo token.

Karpathy’s Trick for Faster Local LLMs Finally Has Proper Tooling

Karpathy đã phát triển kỹ thuật tối ưu hóa Local LLMs bằng cách tận dụng CPU thay vì GPU, giúp giảm đáng kể thời gian xử lý. Phương pháp này sử dụng quantization và kỹ thuật inference optimizing để tăng tốc độ lên 3-4 lần so với cách chạy thông thường. Công cụ mới mang tên "llama.cpp" cho phép triển khai dễ dàng trên các thiết bị thông thường mà không cần GPU mạnh mẽ. Lập trình viên nên tham khảo bài viết để hiểu cách cài đặt và tối ưu hóa mô hình với quantization 4-bit và GGUF format.

Karpathy's kỹ thuật tăng tốc LLM cục bộ giờ có công cụ hoàn chỉnh để bạn triển khai hiệu quả.

I gave my local LLM a nearly-full SSD and told it to find everything I could safely delete

Tác giả đã thử nghiệm Qwen3.6, một local LLM, trên ổ SSD gần đầy dung lượng để tự động xác định file có thể xóa. Bằng cách cho mô hình truy cập toàn bộ hệ thống, Qwen3.6 đã phân tích hàng nghìn file và đề xuất xóa 1.2GB dữ liệu thừa, chủ yếu là cache và duplicate files. Kết quả cho thấy local LLM có khả năng quản lý Storage space hiệu quả hơn các công cụ truyền thống. Bài viết minh chứng tiềm năng của AI trong tự động hóa tác vụ hệ thống, đặc biệt khi kết hợp với kỹ thuật RAG để tăng độ chính xác.

Bài viết này cho thấy cách sử dụng LLM để tự động dọn dẹp ổ cứng hiệu quả hơn con người.

I stopped screenshotting error messages after wiring a local model directly into my terminal

Lập trình viên thường gặp lỗi trong terminal và phải chụp ảnh màn hình để chia sẻ. Bài trình bày phương pháp tích hợp trực tiếp local model vào terminal để xử lý lỗi, giúp giảm thiểu việc chuyển đổi giữa ứng dụng. Tác giả đã sử dụng Llama 3 model và cài đặt nó trên máy tính cá nhân, kết hợp với các công cụ như Ollama và wtfpython. Giải pháp này không chỉ tiết kiệm thời gian mà còn cung cấp ngữ cảnh đầy đủ cho việc gỡ lỗi, đồng thời giảm thiểu việc chia sẻ thông tin nhạy cảm.

Bài viết này giúp bạn tiết kiệm thời gian xử lý lỗi bằng cách tích hợp trực tiếp model AI vào terminal.

I expected Claude Code to crush its open-source rival on my 16GB GPU, but that’s not what happened

Agentic AI isn't blocked by a paywall anymore

Ollama was holding back my "weak" Intel GPU, and one swap turned it into a solid local AI setup

My Intel Arc GPU finally became a useful local AI machine

Someone got an offline LLM running on a 2015 Kindle Paperwhite, even if it’s quite slow

Okay, it's very slow. But it's still impressive.

It’s Alpine Linux, On A Kindle Paperwhite 3

A developer named pragyaangaur built a custom distro that brings an Alpine Linux userspace to the 7th generation Kindle Paperwhite 3. The device must be jailbroken first and still runs Amazon's old kernel underneath. The distro bundles games, a browser, an ArXiv search client, an ePub reader, and Quill, a local chatbot running SmolLM2 over llama.cpp on the Kindle's own processor, at 1.7 words per second. Everything runs on-device, and the Kindle can be restored to stock afterward. These Kindles are available for well under $100.

My local LLM turns my voice notes into to-do items automatically, and nothing falls through the cracks

No more losing my half-formed ideas

My gaming GPU sat idle most of the day, so I turned it into a local AI server the whole house can use

One Llama.cpp command can turn your PC into an AI server, and it really is that easy

I measured my local LLM’s power bill and it costs less than a single $20 ChatGPT, Claude or Gemini subscription

The math isn't close, and it never really was

I added Piper to Home Assistant for local AI voice control, but it turned out to be even more useful

This TTS engine can do more than just voicing my local AI pipeline

I Was Waiting for an RTX 3090 to Run Local AI. My Old RTX 2070 Changed My Plans.

I Was Waiting for an RTX 3090 to Run Local AI. My Old RTX 2070 Changed My Plans. Four local AI models, a playable Tetris game, 128K context experiments, a surprising GPU performance hack, and a small …

I gave Home Assistant these three obscure integrations, and they made my smart home setup even more versatile

Smart devices aren't the only thing that I manage with Home Assistant

I changed two settings in my local AI setup, and stopped needing more VRAM

Is your GPU to blame, or your runtime's defaults?

Prospero: a new coding harness for a more civilized age

Prospero is a new AI coding harness built in C++ with a Dear ImGui interface, designed to use far fewer resources than other harnesses. It uses around two orders of magnitude fewer resources than other harnesses while keeping features like subagents, MCP support, and desktop control for testing GUI apps. Configuration lives in a plain INI file at ~/.config/prospero/prospero.ini, supporting includes by URL. Every operation has a deadline, and entire process trees are stopped together to avoid stray builds. Prospero ships as a free Community Edition and a paid Professional Edition with built-in headless engines for remote deployment.

I turned on one Gemma 4 feature most people skip, and my local AI got 137% faster

Gemma 4 has a fast lane most people never switch to

Strata, Explained: Running 125B-Parameter Models on a Gaming PC

Strata, Explained: Running 125B-Parameter Models on a Gaming PC A hands-on tutorial covering installation, the exact model compatibility list, the API, and an honest feature-by-feature comparison …

My local LLM kept thinking in circles, and the fix was downloading a different version of the same model

Vấn đề thinking in circles xuất hiện khi chạy local LLM với phiên bản quantization không phù hợp. Nguyên nhân kỹ thuật nằm ở việc model bị quá mức quantization (ví dụ: sử dụng GGUF Q4_K_M thay vì Q5_K_M), làm mất đi thông tin quan trọng trong quá trình nén. Hệ quả là rối loạn logic, lặp vô hạn và không tạo được output hợp lý. Bài viết nhấn mạnh việc kiểm tra kỹ version-specific details trước khi implement, vì cùng một model nhưng các phiên bản quantization khác nhau có thể tạo ra kết quả hoàn toàn khác nhau.

Sai định lượng lượng hóa khiến mô hình LLM cục bộ rơi vào vòng lặp suy nghĩ, bài viết chỉ ra cách khắc phục hiệu quả.

Edge AI on the Raspberry Pi 5 made me realize this SBC can replace cloud models for half my projects

Even my Raspberry Pi 5 can host useful AI models

I ditched Google Translate for a local model running on my GPU, and it works offline too

Tác giả đã từ bỏ Google Translate để sử dụng một local model chạy trên GPU gaming của mình. Sử dụng mô hình ngôn ngữ lớn LLaMA 2 với độ 8-bit, tác giả đạt tốc độ xử lý 8.2 tokens/giây trên card RTX 3070. Mặc dù độ chính xác không hoàn toàn tương đương với dịch vụ đám mây, nhưng giải pháp offline này đảm bảo bảo mật dữ liệu tuyệt đối. Đáng học hỏi là cách tận dụng phần cứng gaming hiện có để xây dựng giải pháp thay thế cho dịch vụ đám mây, với thời gian khởi động mô hình chỉ khoảng 2.3 giây.

Tìm hiểu cách tận dụng GPU đồ họa để chạy mô hình dịch thuật địa phương hiệu quả và hoạt động ngoại tuyến.