#ollama

How to run an LLM locally

Run an LLM locally with Ollama. See how much memory you need, where LM Studio and llama.cpp fit, and how to call the model from code.

plMail: A Self-Hosted Gmail Alternative

plMail là một email client mã nguồn mở miễn phí cho phép quản lý Gmail, Outlook và các tài khoản IMAP trong một hộp thư duy nhất tự host. Sự ra đời plMail đáp ứng nhu cầu người dùng muốn giảm phụ thuộc vào các nền tảng email tập trung như Gmail. Phía kỹ thuật, dự án dựa trên Next.js và Node.js, cung cấp trải nghiệm người dùng hiện đại với khả năng tùy chỉnh cao. Hệ quả là người dùng có được giải pháp bảo mật tốt hơn khi dữ liệu được lưu trữ trên server của riêng mình. Bài viết này rất đáng học cho các lập trình viên quan tâm đến self-hosting và muốn xây dựng ứng dụng tích hợp nhiều dịch vụ email vào một giao diện thống nhất.

plMail mang đến giải pháp email tự lưu trữ miễn phí tích hợp nhiều tài khoản Gmail, Outlook và IMAP vào một giao diện duy nhất.

I think we're cooked...

Tác giả nhận ra token dùng thử Qwen Cloud đã hết hạn sau khi đăng bài với tiêu đề "I think we're cooked..." - một sự kiện cho thấy việc phụ thuộc vào AI cloud services như Qwen Cloud có thể gây gián đoạn không lường trước. Nguyên nhân kỹ thuật là token xác thực chỉ có thời hạn sử dụng, vấn đề phổ biến với nhiều nền tảng AI cloud như Qwen, Claude hay Gemini. Hệ quả là người dùng có thể mất quyền truy cập vào tài nguyên AI đã thanh toán hoặc được cấp phép, khiến các dự án cá nhân hoặc công việc bị đình đột ngột. Điều đáng học là cần luôn có kế hoạch dự phòng, chẳng hạn lưu trữ kết quả hoặc sử dụng các local alternatives như Ollama, để không phụ thuộc hoàn toàn vào các cloud AI services có thời hạn token.

Bài viết chia sẻ thực tế về những thách thức và cơ hội trong sự nghiệp lập trình viên thời đại AI.

Will your ideas survive execution?

This is a submission for the Hacktoberfest Open-Source AI Challenge Week 4: Ghost in the Machine ... Tagged with devchallenge, hf26challenge, ai, opensource.

Build Your First AI Agent for Free: A Local SRE Assistant with Ollama and Python

Bối cảnh xây dựng agent AI cho SRE không yêu cầu cloud bill hay research team. Nguyên nhân kỹ thuật là sử dụng Ollama để chạy local LLM với mô hình Mistral 7B. Hệ quả là agent có thể thực thi lệnh CLI, analyze logs, tạo alert rule tự động thông qua Python. Điều đáng học là local AI agent chỉ cần 8GB RAM, giảm 95% chi phí so với cloud solution.

Bài hướng dẫn này giúp lập trình viên xây dựng trợ lý SRE AI miễn phí hoàn toàn bằng Ollama và Python ngay trên máy tính cá nhân.

Availazy: Gemma 4 reads the volunteer group chat on my laptop, Python does the dates, and I just say yes or no

Bối cảnh là bài tham dự thử thách Hacktoberfest Open-Source AI Challenge với dự án Availazy cho phép AI Gemma 4 đọc nhóm chat tình nguyện viên trên laptop. Nguyên nhân kỹ thuật là sử dụng Python xử lý các thông tin ngày tháng trong khi Gemma 4 đảm nhiệm việc đọc hiểu tin nhắn. Hệ quả là người dùng chỉ cần trả lời yes/no thay vì xử lý thủ công các yêu cầu tham gia sự kiện. Điều đáng học là cách kết hợp AI language model với script Python đơn giản để tự động hóa quy trình làm việc hàng ngày.

Bài này chia sẻ cách kết hợp Gemma 4, Python và UI đơn giản để tự động hóa công việc hàng ngày mà không cần kiến thức AI chuyên sâu.

Your local LLM is quietly wasting RAM on context you never use, and one setting gives it back

LLM đang tiêu tốn RAM cho context không cần thiết do cơ chế quản lý kém hiệu quả. Nguyên nhân kỹ thuật nằm ở cách các model như Llama hay Mistai giữ toàn bộ history trong VRAM dù không sử dụng hết. Điều này gây lãng phí tài nguyên, đặc biệt với model 7B params có thể chiếm tới 14GB RAM khi không cần. Hệ quả là giảm hiệu suất chạy và tăng chi phí hạ tầng. Giải pháp đơn giản là điều chỉnh max_seq_len để chỉ giữ lại context cần thiết, giúp tiết kiệm đáng kể tài nguyên.

Bài viết giúp lập trình viên tối ưu hóa RAM cho LLM bằng cách chỉ giữ lại ngữ cảnh thực sự cần thiết.

How to use a coding agent without another subscription

Bối cảnh người dùng muốn sử dụng coding agent mà không cần trả thêm subscription. Nguyên nhân kỹ thuật là kết nối OpenCode với DeepSeek hoặc Ollama, tận dụng mô hình mã nguồn mở hoặc API giá rẻ hơn. Hệ quả là người dùng có thể tiết kiệm chi phí so với các dịch vụ như GitHub Copilot. Điều đáng học là cần hiểu rõ cơ chế billing của API và đánh giá xem hardware local có đủ mạnh để chạy hiệu quả với nhu cầu công việc không.

Bài hướng dẫn này giúp lập trình viên tiết kiệm chi phí bằng cách tận dụng coding agent với các API miễn phí hoặc mô hình cục bộ.

What if your whole marketing team fit on a laptop, and finished in 55 seconds?

Bối cảnh: Bài viết giới thiệu một dự án tham gia Hacktoberfest Open-Source AI Challenge Week 2, đặt câu hỏi tưởng tượng về việc marketing team có thể hoạt động chỉ trên một laptop và hoàn thành công việc trong 55 giây. Nguyên nhân kỹ thuật: Dự án sử dụng AI để tự động hóa toàn bộ quy trình marketing, bao gồm creation, analysis và optimization, giảm thiểu nguồn lực và thời gian xử lý. Hệ quả: Giải pháp này có khả năng cắt giảm đáng kể chi phí và thời gian cho các chiến dịch marketing, đồng thời mở ra khả năng đạt hiệu quả cao với quy mô nhỏ. Điều đáng học: Bài viết cho thấy tiềm năng lớn của việc tích hợp AI vào các quy trình kinh doanh, đặc biệt là trong lĩnh vực marketing, nơi hiệu quả và tốc độ là yếu tố sống còn.

Bài viết này sẽ cho bạn thấy cách AI cách mạng hóa marketing và tăng tốc hiệu suất công việc.

LedgerShield — Reconcile Confidently. Keep Financial Data Local.

LedgerShield là một dự án được phát triển trong khuôn khổ Hacktoberfest Open-Source AI Challenge tuần 2, sử dụng Gemma model để giúp các lập trình viên tự động kiểm toán giao dịch tài chính. Hệ thống tận dụng AI để phân tích và so sánh dữ liệu giao dịch, giúp phát hiện bất thường và sai lệch trong tài chính cá nhân. Một điểm đáng chú ý là LedgerShield cho phép giữ toàn bộ dữ liệu tài chính local trên thiết bị người dùng, tăng cường bảo mật và quyền riêng tư. Dự án này là ví dụ điển hình về cách ứng dụng AI vào quản lý tài chính cá nhân với thiết kế trọng privacy-first.

Bài viết này giúp lập trình viên hiểu cách xây dựng hệ thống AI bảo mật LedgerShield xử lý dữ liệu tài chính tại chỗ.

I moved my local models from Ollama to llama.cpp, and the reason I stayed has nothing to do with speed

Tác giả chuyển đổi các model local từ Ollama sang llama.cpp không phải vì tốc độ xử lý. Lý do chính là sự tiện lợi trong việc quản lý và khởi động model với llama.cpp sử dụng file cấu hình đơn giản. Ollama mặc dù cung cấp API thân thiện nhưng lại gặp vấn đề với việc quản lý phiên làm việc và chiếm dụng bộ nhớ cao hơn. Đáng học hỏi là việc lựa chọn công nghệ nên dựa trên trải nghiệm người dùng và khả năng tích hợp thực tế thay vì chỉ tập trung vào hiệu suất đơn thuần.

Bài viết này cho thấy rằng khi di chuyển mô hình từ Ollama sang llama.cpp, sự tiện lợi quan trọng hơn tốc độ tạo token.

Can ChatGPT Really Build a Self-Hosted App? I Tried It

Tôi thử nghiệm khả năng của ChatGPT trong việc xây dựng một ứng dụng self-hosted hoàn chỉnh và đã tạo thành công Voice Journal. Nguyên nhân kỹ thuật chính là kết hợp local AI với Docker containerization và Progressive Web App (PWA) cho iPhone. Hệ quả là ứng dụng chạy mượt mà trên local infrastructure mà không cần cloud dependency. Điều đáng học là việc kết hợp các công nghệ open-source như local AI models với containerization có thể tạo ra giải pháp ứng dụng hoàn chỉnh.

Bài viết chia sẻ trải nghiệm thực tế về việc sử dụng ChatGPT để xây dựng một ứng dụng tự lưu trữ hoàn chỉnh, chứng minh khả năng tạo ứng dụng phức tạp chỉ với AI cục bộ và công cụ phổ biến.

Local AI Weekly #5: AI Gets a Desk Job

Các AI agents đang bắt đầu xâm nhập vào môi trường văn phòng phòng với sự quan tâm lớn từ Big Tech muốn tích hợp chúng vào tất cả các ứng dụng làm việc. Các công nghệ như AutoGen, LangChain và Microsoft Copilot đang dẫn đầu xu hướng này bằng cách tự động hóa các tác vụ văn phòng phức tạp. Việc tích hợp AI agents vào các ứng dụng làm việc như Microsoft 365 và Google Workspace có thể giúp tăng năng suất lao động lên đến 40% theo các nghiên cứu mới đây. Điều đáng học hỏi là cách các công nghệ agent-based đang thay đổi cách chúng ta tương tác với các ứng dụng truyền thống, và lập trình viên nên theo dõi xu hướng này để không bỏ lỡ cơ hội phát triển các giải pháp sáng tạo trong tương lai.

Bài viết cập nhật xu hướng AI Agents đang tích hợp vào các ứng dụng làm việc, giúp lập trình viên nắm bắt hướng phát triển mới của công nghệ.

Linus wrote Git in about 10 days, so I asked my local LLM to build something similar with one prompt

Khi Linus Torvalds phát triển Git chỉ trong khoảng 10 ngày, tác giả đã thử nghiệm bằng cách yêu cầu một local language model (LLM) xây dựng một hệ thống tương tự với một single prompt. Kết quả bất ngờ khi local LLM tạo ra một phiên bản đơn giản nhưng hoạt động tốt, chứng minh khả năng của AI trong phát triển code cơ bản. Hệ thống được tạo ra có các chức năng cơ bản như add, commit, và log, tuy nhiên không có các tính năng phức tạp như branching hay merging đầy đủ. Điều đáng học hỏi là cách các LLM hiện tại có thể tạo ra các công cụ code đơn giản nhưng hữu ích chỉ với một prompt duy nhất.

Bài viết này cho thấy khả năng đáng ngạc nhiên của các mô hình ngôn ngữ lớn trong việc tái tạo các công cụ lập trình phức tạp chỉ bằng một lệnh đơn giản.

I built a Tool for helping my friend next interview

Bối cảnh là bài viết tham gia Hacktoberfest Weekend Challenge nhằm xây dựng công cụ hỗ trợ bạn bè chuẩn bị phỏng vấn. Nguyên nhân kỹ thuật là tác giả nhận thấy nhu cầu tạo công cụ giúp luyện tập phỏng vấn kỹ thuật với các câu hỏi về system design và coding challenges. Hệ quả là công cụ này giúp ứng viên cải thiện khả năng giải quyết vấn đề và tự tin hơn khi trả lời các câu hỏi phỏng vấn thực tế. Điều đáng học là cách tiếp cận thiết kế công cụ tập trung vào trải nghiệm người dùng với các tính năng như mock interview session và thời gian giới hạn cho từng câu hỏi.

Bài viết chia sẻ về một công cụ hữu ích giúp chuẩn bị cho phỏng vấn kỹ thuật, cung cấp kinh nghiệm thực tế về phát triển giải pháp giải quyết vấn đề cụ thể.

Local Agentic AI Workflows with Hermes + Ollama

Bài viết hướng dẫn xây dựng trợ lý AI local chi phí bằng cách kết hợp Hermes Agent với Ollama. Người dùng sẽ cài đặt Ollama, chọn mô hình gemma4:31b hỗ trợ tool calling, và cấu hình Hermes trỏ tới endpoint tương thích OpenAI của Ollama. Để tối ưu hiệu suất, bài viết đề xuất cách tối ưu hóa context window và tải mô hình để tăng tốc độ. Hệ thống có thể mở rộng qua Telegram gateway để truy cập từ xa và thêm fallback cloud cho những câu hỏi khó local xử lý không được.

Bài hướng dẫn này giúp bạn xây dựng trợ lý AI agent hoàn toàn miễn phí, chạy local với Hermes và Ollama, kèm khả năng mở rộng qua Telegram và fallback cloud.

My local LLM reconstructed deleted project documentation from just the code, and it was nearly perfect

Trong bối cảnh lập trình viên thường đối mặt với việc mất đi tài liệu dự án, tác giả đã sử dụng local LLM để tái tạo tài liệu đã xóa chỉ từ source code. Nguyên nhân kỹ thuật là mô hình nhỏ Mistral 7B được fine-tune với LoRA (Low-Rank Adaptation) có khả năng hiểu cấu trúc và logic từ code. Hệ quả là mô hình đã tái tạo lại tài liệu với độ chính xác gần như hoàn toàn, chỉ khác biệt ở một số chi tiết nhỏ về tính năng không còn được sử dụng. Điều đáng học là đây là minh chứng cho việc local processing có thể giải quyết các vấn đề thực tế trong công việc lập trình mà không cần dựa vào cloud services.

Bài viết này chỉ ra cách một mô hình ngôn ngữ cục bộ có thể tái tạo lại tài liệu dự án đã xóa chỉ từ mã nguồn, giúp lập trình viên tiết kiệm thời gian và công sức khi bảo trì dự án.

Local AI Weekly #3: The Token Rug Pull

Thị trường cheap frontier tokens đang đối mặt với tình trạng token rug pull khi giá trị sụt giảm mạnh. Nguyên nhân kỹ thuật nằm ở việc các dự án thiếu tính ứng dụng thực tế và cơ chế tokenomics không bền vững. Hệ quả là nhiều nhà đầu tư mất trắng tài sản trong khi các nền tảng như email client trên edge và inbox cho background agents vẫn phát triển thiếu ổn định. Bài viết phân tích cụ thể về các token như AGIX và OGN với mức giảm giá tới 70%. Điều đáng học là lập trình viên nên tập trung vào các dự án có nền tảng kỹ thuật vững chắc thay vì chạy theo xu hướng token ngắn hạn.

Bài viết tiết lộ lý do tại sao các token công nghệ mới giá rẻ không bền vững và hướng dẫn bạn cách xây dựng ứng dụng email hiệu quả trên edge computing.

I turned Obsidian into an AI browser, and it does what Gemini in Chrome does without my research leaving my vault

The browser I use for private work isn't actually a real browser

A used RTX 3090 is still the best GPU for local AI, and it beats most new cards on value

This old GPU is still worth considering for local AI.

Black Friday Deal: Over $200 Off the VZMORE AX9 Max Mini PC! (Sponsored)

Mini PC manufacturer VZMORE has launched an early Black Friday deal for its AMD Ryzen AI 9 HX 470-powered VZMORE AX9 Max model: $229 off, bringing the

Ollama was holding back my "weak" Intel GPU, and one swap turned it into a solid local AI setup

My Intel Arc GPU finally became a useful local AI machine

Build a private AI feature with a local model, Ollama and Node.js

Build a Node.js feature on a local Ollama model: what's in the model file, schema output, validation, timeouts, a fallback, evals, tests and real speed.

“I Don’t Need a SIEM, I Have Ollama!” (Yes, You Do!)

Warning: this blog is an experiment. The idea for a blog came from a real conversation I had with somebody. The content is researched, debated, refined, “hardened” by a Gemini skill I created (using Gemini 4 Argon). Then Claude Opus…

I asked XDB to build a local AI workstation without spending RTX 5090 money

XDB can plan your local AI rig on a budget

5 things I moved off the cloud and onto my home network this year, and I don't miss any of them

Self-hosting was the best thing I dove into this year

BYOK and enterprise custom models in the Copilot usage API

The GitHub Copilot usage metrics API now reports bring your own key (BYOK) usage separately from Copilot-hosted model usage. Local BYOK covers a developer's own provider key or local models like Ollama, Foundry Local, LM Studio, and llama-server, exposed via fields like used_local_byok and totals_by_local_byok. Enterprise custom models, set up by admins and routed through GitHub, appear via a new is_custom_enterprise_model boolean on totals_by_client entries. Local BYOK data relies on client telemetry and can undercount; custom model counts are observed server-side and don't have that limit. Report days before this release don't include is_custom_enterprise_model.

I replaced Excel's Copilot with a local LLM, and spreadsheet work finally feels private

My spreadsheets stay on my Mac, and now the AI helping me with them does too.

What actually needs a GPU in a self-hosted AI stack (most of it doesn’t)

What actually needs a GPU in a self-hosted AI stack (most of it doesn’t) A layer-by-layer look at where the GPU matters, where it’s wasted money, and what a CPU box gets you in real tokens per …

I changed two settings in my local AI setup, and stopped needing more VRAM

Is your GPU to blame, or your runtime's defaults?

Try Muse Spark Open in OpenCode through Ollama Cloud

Launch Muse Spark Open in OpenCode through Ollama Cloud, try a bounded JavaScript fix, and check model access, tool use, context, and billing.

My favorite Claude Code alternative isn't Codex or Cursor: it's something way more powerful and open-source

More model choice, greater coding freedom.

A Local AI Reads My Kid’s School Papers So I Don’t Have To

This is a submission for the Hacktoberfest Open-Source AI Challenge Week 3: Slow and Steady Every... Tagged with devchallenge, hf26challenge, ai, go.

Local AI Weekly #7: Bubble or Not?

China's AI stocks lost $480 billion. But SK Hynix posted record profits and says RAM stays scarce till 2030. Bubbles pop, prices don't.

How to run local LLMs in a container with Ollama and Podman

A universe of events and platforms focused on open source, open tech and the open web.

Coding From the Himalayas With an Offline AI Agent

How to set up and run an offline coding agent using OpenCode, Ollama and Qwen.

I Built a Pixel Hero That Nags Me to Drink Water (and Runs 100% on My Laptop)

Bối cảnh của bài là một dự án tham gia Hacktoberfest Open-Source AI Challenge với mục tiêu xây dựng một hệ thống nhắc nhở uống nước. Nguyên nhân kỹ thuật là tác giả đã sử dụng Python và thư viện TensorFlow Lite để triển khai mô hình machine learning chạy hoàn toàn trên laptop. Hệ quả tạo ra được ứng dụng "Pixel Hero" có khả năng nhận diện thời điểm và nhắc nhở người dùng uống nước bằng giao diện pixel art đơn giản. Điều đáng học là bài viết chia sẻ cách tối ưu hóa mô hình AI để chạy hoàn toàn trên thiết bị edge, tránh cần cloud server, giúp ứng dụng hoạt động bảo mật và tiết kiệm pin.

Bài viết này giúp lập trình viên học cách xây dựng một ứng dụng AI nhắc nhở uống nước hoàn toàn chạy trên máy tính cá nhân.

From Local Development to CI Workflows with the Azure Cosmos DB Emulator

Khi phát triển ứng dụng với Azure Cosmos DB, việc xác thực dữ liệu đã được ghi thành công vào storage là yêu cầu quan trọng hơn chỉ nhận HTTP response success. Vấn đề phát sinh khi chuyển từ local development sang CI workflows do sự khác biệt môi trường giữa emulator và dịch vụ real cloud. Bài viết đề xuất giải pháp sử dụng Azure Cosmos DB Emulator trong pipeline CI, với các bước kiểm tra data consistency và performance metrics cụ thể. Các lập trình viên sẽ học cách thiết lập test environment tương tự production, tránh false positive tests và phát hiện early vấn đề về data integrity.

Bài hướng dẫn này giúp lập trình viên chuyển từ phát triển local sang workflow CI với Azure Cosmos DB Emulator một cách hiệu quả.

standup-sloth: a local LLM drafts your standup, and a citation check keeps it honest

This is a submission for the Hacktoberfest Open-Source AI Challenge Week 3: Slow and Steady ... Tagged with devchallenge, hf26challenge, opensource, go.

Running Claude Code with Ollama and Local Models

A quick step-by-step guide to setting up Claude Code in IntelliJ and connecting it to local models through Ollama. Tagged with ai, java, ollama, claudecode.