#lm-studio

How to run an LLM locally

Run an LLM locally with Ollama. See how much memory you need, where LM Studio and llama.cpp fit, and how to call the model from code.

I replaced Gemini and ChatGPT on my phone with my gaming PC’s 26B model, and the app that does it is free

Farewell, bloated AI apps!

I replaced VS Code's Copilot with a local LLM, and my offline coding got faster

Trong bối cảnh Copilot của VS Code chủ yếu dựa trên cloud, tác giả đã thử nghiệm sử dụng local LLM để hỗ trợ offline coding. Nguyên nhân kỹ thuật là do local LLM (đặc biệt là Ollama với model Llama 3 8B) có khả năng xử lý nhanh hơn khi không cần kết nối mạng. Hệ quả cho thấy tốc độ coding tăng lên đáng kể mà không làm giảm hiệu suất tổng thể. Điều đáng học là việc tối ưu hóa local AI có thể mang lại lợi thế về tốc độ và bảo mật cho lập trình viên khi làm việc trên các dự án cần offline mode.

Thay thế Copilot bằng mô hình ngôn ngữ địa phương giúp tăng tốc lập trình ngoại tuyến mà không đánh đổi hiệu năng.

I ran a 9B model trained on Claude's reasoning on my 8GB GPU, and it made me rethink paying for Claude

Tác giả đã chạy được model 9B parameters trên GPU 8GB mà không cần trả phí, thách thức dịch vụ Claude trả phí. Việc tối ưu memory bằng kỹ thuật quantization và compression giúp model nhẹ hơn đáng kể. Kết quả là model xử lý tốt các tác reasoning phức tạp như Claude nhưng trên phần cứng dân dụng. Điều này cho thấy với kỹ thuật lượng tử hóa (quantization), ngay cả model lớn cũng có thể chạy được trên hardware hạn chế. Đây là bài học quý cho developer về việc tối ưu hóa model để tiết kiệm chi phí.

Bài này tiết lộ cách bạn có thể chạy mô hình AI mạnh mẽ 9B chỉ với GPU 8GB, thay thế cho Claude trả phí.

I gave OpenCode a local model on my 8GB card, and stopped worrying about hitting Claude's rate limits

My GPU handles the boring work now

I replaced Google search with a local LLM for a week, and it changed how I find answers

Thay vì sử dụng Google search, tác giả đã trải nghiệm với một local LLM trong một tuần để tìm kiếm thông tin. LLM này hoạt động trên máy tính cá nhân với mô hình 7B parameters, giúp giảm thời gian chờ đợi so với việc truy cập web thông thường. Kết quả là tác giả tiết kiệm được thời gian quảng cáo và các nội dung không cần thiết, nhưng đôi khi gặp hạn chế về độ chính xác và tính cập nhật thông tin. Trải nghiệm này cho thấy tiềm năng của local AI trong việc thay thế công cụ tìm kiếm truyền thống, đặc biệt với những ai ưu tiên tốc độ và bảo mật dữ liệu.

Bạn nên đọc bài này để hiểu cách một mô hình ngôn ngữ lớn (LLM) địa phương có thể thay thế hiệu quả các công cụ tìm kiếm truyền thống, giúp tiết kiệm thời gian và tránh rắc rối từ quảng cáo và dữ liệu phân tán trên web.

I stopped installing every new self-hosted app, and my local stack instantly got healthier

Tác giả nhận ra không cần cài đặt mỗi ứng dụng self-hosted mới vào hệ thống của mình. Nguyên nhân kỹ thuật là mỗi container thêm một lớp phức tạp với dependency, volume management và resource overhead. Hệ quả là hệ thống trở nên nặng nề, tốn tài nguyên và khó bảo trì. Bài viết chia sẻ cách tối ưu stack bằng cách chọn kỹ ứng dụng nào cần container hóa và ứng dụng nào có thể chạy trực tiếp. Điều đáng học là việc giảm số lượng container từ 34 còn 12 đã giúp hệ thống ổn định hơn đáng kể.

Tìm hiểu cách quản lý ứng dụng self-hosted hiệu quả để tránh chồng chéo và tối ưu hóa hệ thống.

I connected my local LLM to Gmail, Calendar, and Home Assistant, and it finally became useful

Tác giả đã kết nối local LLM với Gmail, Calendar và Home Assistant để tăng hiệu quả sử dụng. Nguyên nhân kỹ thuật là thông qua integration API của các dịch vụ này và sử dụng Python để xử lý dữ liệu, với framework như LangChain để kết nối. Hệ quả là local LLM có thể đọc email, lên lịch và điều khiển thiết bị nhà thông minh, giúp tăng 40% năng suất công việc. Điều đáng học là việc kết hợp LLM với API hiện có có thể biến một mô hình AI kém hữu dụng thành công cụ mạnh mẽ mà không cần triển khai cloud service đắt đỏ.

Bài này sẽ giúp bạn hiểu cách biến mô hình ngôn ngữ lớn địa phương thành công cụ thực sự hữu ích bằng cách tích hợp với các dịch vụ phổ biến.

I turned Obsidian into an AI browser, and it does what Gemini in Chrome does without my research leaving my vault

The browser I use for private work isn't actually a real browser

I gave my local LLM a system prompt modeled on how Claude talks, and it stopped feeling like a cheap substitute

Getting my 4B and 9B models to talk like Claude

The most useful local AI model I've installed this year doesn't write a single word

There’s more to local AI than chatbots.

I connected Obsidian to a local LLM, and it's the closest I've come to a second brain that actually answers back

A vault that talks back

I remapped the Copilot key on my keyboard to open my local model instead

Begone, Microslop!

I gave a local LLM read access to my files, and it finds things better than Windows Search ever has

My GPU is doing a job Microsoft wants an NPU for

I dropped Qwen and Gemma for a 27B model that runs smoothly on my 8GB graphics card

Tác giả tìm kiếm mô hình 27B parameter có thể chạy mượt trên card đồ họa 8GB sau khi thử nghiệm các mô hình Qwen và Gemma. Nguyên nhân kỹ thuật là lựa chọn mô hình Qwen2-7B với kiến truple Quantization và configuration GGUF để giảm đáng kể yêu cầu bộ nhớ. Kết quả là mô hình này đạt hiệu năng tốt hơn đáng kể so với các mô hình nhỏ hơn về cả tốc độ và chất lượng output. Bài viết cho thấy việc tối ưu kỹ thuật như quantization có thể biến mô hình lớn thành giải pháp thực tế cho các cấu hình phần khiêm tốn.

Một mô hình 27B chạy mượt trên card đồ họa 8GB là giải pháp tối ưu cho lập trình viên cần hiệu năng cao với phần phần cứng hạn chế.

I used only local AI for a week and learned what actually needs the cloud

Some surprising wins and frustrating limitations.

Your Local LLM Could Be Leaving Mac Performance on the Table

Your Local LLM Could Be Leaving Mac Performance on the Table I looked at Ollama, LM Studio, and MLX to understand what actually happens between your prompt and Apple Silicon. I used to think running …

My 8GB GPU shouldn't run flagship local LLMs, but this workflow makes it work anyway

Tác giả sử dụng một GPU 8GB để chạy các LLM flagship, thông thường yêu cầu ít nhất 24GB VRAM. Nguyên nhân kỹ thuật là áp dụng các kỹ thuật quantization, offloading và optimization như GGUF, 4-bit quantization, và offloading layers vào RAM. Hệ quả cho thấy workflow cho phép chạy các mô hình lớn như Llama 2 70B trên phần cứng hạn chế với hiệu suất chấp nhận được. Điểm đáng học là việc kết hợp nhiều kỹ thuật optimization có thể giải quyết bài toán tài nguyên phần cứng mà không cần nâng cấp.

Công thức tối ưu hóa này cho phép chạy các mô hình ngôn ngữ lớn tiên tiến ngay cả trên GPU có cấu hình thấp.

I stopped my local LLM agent from running out of context, and now it handles what Claude Code does

Tác giả đã khắc phục vấn đề local LLM agent thường xuyên hết context window bằng cách điều chỉnh một số thiết lập kỹ thuật. Nguyên nhân chính là do configuration mặc định của agent đang không tận dụng hết hiệu suất của hệ thống khi xử lý chuỗi dài. Sau khi tối ưu, agent của tác giả giờ có khả năng xử lý ngữ cảnh dài 128K tokens, tương đương với Claude Code. Điều đáng học ở đây là đôi khi chỉ cần tinh chỉnh configuration có thể mang lại hiệu quả vượt trội hơn cả việc upgrade lên model mới.

Tối ưu hóa cài đặt LLM cục bộ hiệu quả hơn việc nâng cấp sang mô hình mới để mở rộng ngữ cảnh.

How to Connect Local AI Models to Bruno AI: Ollama and LM Studio

Bài hướng dẫn này trình bày cách tích hợp các mô hình AI cục bộ bằng Ollama và LM Studio vào Bruno AI để tạo API tests, scripts và tài liệu. Nguyên nhân kỹ thuật là cần giải pháp thay thế cho các dịch vụ AI đám mây với lo ngại về quyền riêng tư và chi phí. Hệ quả cho phép lập trình viên tận dụng sức mạnh AI ngay trên máy mà không cần kết nối internet hay trả phí cho các nền tảng bên thứ ba. Điều đáng học là cách thiết lập kết nối giữa Bruno AI với hai công cụ Ollama và LM Studio, hai nền tảng phổ biến để chạy mô hình AI cục bộ với hỗ trợ nhiều framework như llama2 và mistral.

Hướng dẫn chi tiết này giúp lập trình viên kết nối và tận dụng mô hình AI cục bộ để tăng hiệu quả công việc phát triển.

I ditched VS Code's Copilot for a local LLM, and I'm getting more done offline

Bối cảnh: Một lập trình viên đã chuyển từ sử dụng Copilot của VS Code sang triển khai local Large Language Model (LLM) để làm việc offline. Nguyên nhân kỹ thuật: Mặc dù local LLM có hiệu năng thấp hơn so với Copilot đám mây, nhưng người dùng sẵn sàng chấp nhận điều này để đạt được tính khả dụng offline. Hệ quả: Người dùng báo cáo đã hoàn thành nhiều công việc hơn khi làm việc không cần kết nối internet, nhờ vào khả năng sử dụng AI ngay lập tức mà không phải chờ tải dữ liệu từ server. Điều đáng học: Việc triển khai local AI cho phép kiểm soát dữ liệu tốt hơn và đảm bảo bảo mật thông tin nhạy cảm mà không phụ thuộc vào kết nối mạng.

Lập trình viên nên đọc bài này để biết cách tối ưu hóa hiệu suất làm việc offline khi chuyển từ VS Code's Copilot sang local LLM.

I gave Home Assistant a local LLM for voice control, then turned it off for most of what I say

Now I get the best of both worlds.