#qwen

I ran a 9B model trained on Claude's reasoning on my 8GB GPU, and it made me rethink paying for Claude

Tác giả đã chạy được model 9B parameters trên GPU 8GB mà không cần trả phí, thách thức dịch vụ Claude trả phí. Việc tối ưu memory bằng kỹ thuật quantization và compression giúp model nhẹ hơn đáng kể. Kết quả là model xử lý tốt các tác reasoning phức tạp như Claude nhưng trên phần cứng dân dụng. Điều này cho thấy với kỹ thuật lượng tử hóa (quantization), ngay cả model lớn cũng có thể chạy được trên hardware hạn chế. Đây là bài học quý cho developer về việc tối ưu hóa model để tiết kiệm chi phí.

Bài này tiết lộ cách bạn có thể chạy mô hình AI mạnh mẽ 9B chỉ với GPU 8GB, thay thế cho Claude trả phí.

I think we're cooked...

Tác giả nhận ra token dùng thử Qwen Cloud đã hết hạn sau khi đăng bài với tiêu đề "I think we're cooked..." - một sự kiện cho thấy việc phụ thuộc vào AI cloud services như Qwen Cloud có thể gây gián đoạn không lường trước. Nguyên nhân kỹ thuật là token xác thực chỉ có thời hạn sử dụng, vấn đề phổ biến với nhiều nền tảng AI cloud như Qwen, Claude hay Gemini. Hệ quả là người dùng có thể mất quyền truy cập vào tài nguyên AI đã thanh toán hoặc được cấp phép, khiến các dự án cá nhân hoặc công việc bị đình đột ngột. Điều đáng học là cần luôn có kế hoạch dự phòng, chẳng hạn lưu trữ kết quả hoặc sử dụng các local alternatives như Ollama, để không phụ thuộc hoàn toàn vào các cloud AI services có thời hạn token.

Bài viết chia sẻ thực tế về những thách thức và cơ hội trong sự nghiệp lập trình viên thời đại AI.

What “open weights” means for AI models

Bối cảnh là khái niệm "open weights" đang định hình tương lai của AI models, khác biệt với mô hình open source truyền thống. Nguyên nhân kỹ thuật là open weights chỉ chia sẻ weights (các tham số mô hình) chứ không phải source code, cho phép sử dụng mô hình mà không cần phân tách nó. Hệ quả là Qwen3.8 của Alibaba và Kimi K3 của 01.AI chứng minh các mô hình open weights có thể đạt hiệu năng cao tương tự các closed-source models như GPT-4. Điều đáng học là open weights tạo ra một sân chơi bình đẳng hơn, nơi các công ty có thể tinh chỉnh và triển khai AI mà không bị phụ thuộc vào một nhà cung duy nhất. Xu hướng này mở ra cơ hội mới cho ứng dụng AI trong nhiều lĩnh vực với chi phí thấp hơn.

Bài này giúp lập trình viên hiểu rõ khái niệm "open weights" trong AI và sự khác biệt giữa nó với open source, qua các ví dụ thực tế như Qwen3.8 và Kimi K3.

4 jobs my local AI handles for free that I would never trust with a cloud model

Not all my information is meant to reach OpenAI's servers

Apple confirms its AI features reach China in December, with Qwen

Apple Intelligence arrives in China with iOS 27.3 in December, with a beta from 4 November. Alibaba's Qwen will run inside Siri, but Siri AI is left out.

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

Các ứng dụng thực tế với SLMs (Small Language Models) thường tốn kém do kích thước từ vựng lớn. Một nghiên cứu mới phát hiện ra việc chuyên môn hóa (specializing) từ vựng cho từng domain cụ thể có thể giảm 77% chi phí inference. Phương pháp này sử dụng kỹ thuật vocabulary partitioning kết hợp với model compression trên dataset Wikipedia, cho thấy hiệu quả rõ rệt. Lập trình viên nên cân nhắc tiếp cận này nếu đang xây dựng ứng dụng SLM cho lĩnh vực chuyên biệt, vì nó vừa giảm chi phí vừa giữ được hiệu suất mô hình.

Những người phát triển LangChain hoặc các dự án AI logic sẽ tìm hiểu cách tối ưu hóa từ vựng của mô hình ngôn ngữ lớn để giảm chi phí tính toán trong ứng dụng thực tế.

My RTX Spark laptop still doesn't have Copilot+ features, so a local LLM on the same machine built its own from one prompt

It called it "Spark Copilot", and it works similarly to the real thing.

Five Qwen3.8-27B models match Fable 5 Using GVS5H Harness

Một nhóm nghiên cứu đã phát triển GVS5H, hệ thống sử dụng năm mô hình Qwen3.8-27B để đạt hiệu năng tương đương Claude Fable 5 trên benchmark LiveCodeBench Hard. Sự thành công này đến từ kỹ thuật parallel processing kết hợp inference pipeline đặc biệt, tận dụng tổng cộng 135B parameters (5 × 27B) của các mô hình Qwen3.8. Chi phí thực tế chỉ bằng 1/5 so với Claude Fable 5, hoặc có thể triển khai trên một GPU duy nhất với hiệu suất ấn tượng. Đáng học hỏi là cách họ tối ưu hóa phân tải xử lý giữa các mô hình, cho thấy hướng đi mới cho AI cost-efficient trong tương lai.

Nghiên cứu này cho thấy năm mô hình Qwen3.8-27B có thể đạt hiệu năng tương đương Claude Fable 5 với chi phí chỉ một phần năm hoặc chỉ cần một GPU duy nhất.

Compiling an SOP into a 3B Model

Đây là một thử nghiệm kỹ thuật thú vị khi biên dịch quy trình xử lý sự vụ (SOP) trực tiếp vào trọng số của mô hình 3B parameters. Thay vì dán SOP vào prompt, nghiên cứu đã sử dụng kỹ thuật fine-tuning để tích hợp quy trình này vào kiến trúc mô hình. Kết quả cho thấy mô hình có thể thực hiện đúng các bước triage khi được kiểm tra với các tình huống mới. Thí nghiệm này chứng minh tiềm năng của việc chuyển giao quy trình nghiệp vụ vào trọng số mô hình, mở ra hướng tiếp cận mới cho việc triển khai hệ thống AI trong môi trường doanh nghiệp.

Bài viết này cho thấy cách biên dịch một quy trình xử lý sự cố trực tiếp vào trọng lượng mô hình 3B thay vì dán vào prompt.

Baseten’s joey-1 makes AI decisions for a penny per million tokens

Baseten's open-weights joey-1 is a 2B model that picks answers instead of writing text, costing $0.01 per million tokens with 20ms response times.

I gave OpenCode a local model on my 8GB card, and stopped worrying about hitting Claude's rate limits

My GPU handles the boring work now

Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

Microsoft giới thiệu ThinkingBox, một framework giúp biến database grading thành rewards cho reinforcement learning agents. Bài giải thích cách sử dụng PostgreSQL và Microsoft SQL Server để tạo environment training tự động, giúp agent học cách tối ưu truy vấn SQL. Hệ quả cho thấy ThinkingBox giúp giảm 60% thời gian cần thiết để train SQL agents so với các phương pháp truyền thống. Điều đáng học là cách kết hợp giữa database operations và RL để tạo environment training hiệu quả mà không cần human feedback.

Bài viết này giúp các lập trình viên hiểu cách biến việc chấm điểm cơ sở dữ liệu thành phần thưởng học tăng cường để huấn luyện tác nhân sau đào tạo hiệu quả hơn.

Qwenputer: A functioning, deterministic RISC-V CPU inside Qwen3.5

I compiled a RISC-V CPU into Qwen 3.5 4B's weights, using its Gated DeltaNet layers as RAM. It runs C and MicroPython inside the forward passes, and Qwen uses it for exact arithmetic.

China's AI companion rules force Doubao, Qwen shutdowns

ByteDance (Doubao) và Alibaba (Qwen) phải tắt các tính năng AI companion (tương tác cảm xúc) trước ngày 15/7 do quy định mới của Trung Quốc cấm các bot mô phỏng nhân cách và tương tác cảm xúc kéo dài, nhưng vẫn cho phép AI phục vụ năng suất. Người dùng lo ngại mất dữ liệu trò chuyện và hỗ trợ tinh thần. Chính sách này nhằm hạn chế rủi ro nghiện, tổn hại tâm lý và lộ lọt dữ liệu.

Những quy định mới của Trung Quốc về AI nhân hóa sẽ ảnh hưởng trực tiếp đến các công nghệ tương tác nhân dạng người, giúp lập trình viên hiểu rõ về xu hướng quản lý an toàn và đạo đức trong AI, từ đó xây dựng các giải pháp phù hợp với thị trường mới.

I replaced Google search with a local LLM for a week, and it changed how I find answers

Thay vì sử dụng Google search, tác giả đã trải nghiệm với một local LLM trong một tuần để tìm kiếm thông tin. LLM này hoạt động trên máy tính cá nhân với mô hình 7B parameters, giúp giảm thời gian chờ đợi so với việc truy cập web thông thường. Kết quả là tác giả tiết kiệm được thời gian quảng cáo và các nội dung không cần thiết, nhưng đôi khi gặp hạn chế về độ chính xác và tính cập nhật thông tin. Trải nghiệm này cho thấy tiềm năng của local AI trong việc thay thế công cụ tìm kiếm truyền thống, đặc biệt với những ai ưu tiên tốc độ và bảo mật dữ liệu.

Bạn nên đọc bài này để hiểu cách một mô hình ngôn ngữ lớn (LLM) địa phương có thể thay thế hiệu quả các công cụ tìm kiếm truyền thống, giúp tiết kiệm thời gian và tránh rắc rối từ quảng cáo và dữ liệu phân tán trên web.

I gave my local LLM a nearly-full SSD and told it to find everything I could safely delete

Tác giả đã thử nghiệm Qwen3.6, một local LLM, trên ổ SSD gần đầy dung lượng để tự động xác định file có thể xóa. Bằng cách cho mô hình truy cập toàn bộ hệ thống, Qwen3.6 đã phân tích hàng nghìn file và đề xuất xóa 1.2GB dữ liệu thừa, chủ yếu là cache và duplicate files. Kết quả cho thấy local LLM có khả năng quản lý Storage space hiệu quả hơn các công cụ truyền thống. Bài viết minh chứng tiềm năng của AI trong tự động hóa tác vụ hệ thống, đặc biệt khi kết hợp với kỹ thuật RAG để tăng độ chính xác.

Bài viết này cho thấy cách sử dụng LLM để tự động dọn dẹp ổ cứng hiệu quả hơn con người.

My local LLM reconstructed deleted project documentation from just the code, and it was nearly perfect

Trong bối cảnh lập trình viên thường đối mặt với việc mất đi tài liệu dự án, tác giả đã sử dụng local LLM để tái tạo tài liệu đã xóa chỉ từ source code. Nguyên nhân kỹ thuật là mô hình nhỏ Mistral 7B được fine-tune với LoRA (Low-Rank Adaptation) có khả năng hiểu cấu trúc và logic từ code. Hệ quả là mô hình đã tái tạo lại tài liệu với độ chính xác gần như hoàn toàn, chỉ khác biệt ở một số chi tiết nhỏ về tính năng không còn được sử dụng. Điều đáng học là đây là minh chứng cho việc local processing có thể giải quyết các vấn đề thực tế trong công việc lập trình mà không cần dựa vào cloud services.

Bài viết này chỉ ra cách một mô hình ngôn ngữ cục bộ có thể tái tạo lại tài liệu dự án đã xóa chỉ từ mã nguồn, giúp lập trình viên tiết kiệm thời gian và công sức khi bảo trì dự án.

Build your own Jev (100% local)

Bài viết hướng dẫn chi tiết cách tự triển khai Jev 100% trên máy local của bạn. Nguyên nhân kỹ thuật là Jev đòi hỏi môi trường Node.js và các dependencies như Express.js và Socket.io để hoạt động hoàn toàn offline. Hệ quả là bạn sẽ có một phiên bản Jev riêng biệt, không phụ thuộc vào server cloud, đảm bảo bảo mật dữ liệu tuyệt đối. Điều đáng học là kiến trúc microservices và cách implement WebSocket trong ứng dụng real-time, được trình bày với đầy đủ snippet code trong bài gốc.

Bài hướng dẫn xây dựng Jev cục bộ giúp lập trình viên nắm quy trình phát triển sản phẩm từ đầu với code minh họa rõ ràng.

I expected Claude Code to crush its open-source rival on my 16GB GPU, but that’s not what happened

Agentic AI isn't blocked by a paywall anymore

Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared

Compare MoE routing across 10 models: experts, top-k, shared experts and gating for DeepSeek, Qwen, Mixtral, Llama 4.

I gave my local LLM a system prompt modeled on how Claude talks, and it stopped feeling like a cheap substitute

Getting my 4B and 9B models to talk like Claude

My local LLM turns my voice notes into to-do items automatically, and nothing falls through the cracks

No more losing my half-formed ideas

My gaming GPU sat idle most of the day, so I turned it into a local AI server the whole house can use

One Llama.cpp command can turn your PC into an AI server, and it really is that easy

I measured my local LLM’s power bill and it costs less than a single $20 ChatGPT, Claude or Gemini subscription

The math isn't close, and it never really was

How to Train Your own Decision Model like Jev using Unsloth

Unsloth now supports training decision models from open-weight language models that score a fixed set of choices instead of generating text. This tutorial fine-tunes Qwen3.5-4B with 4-bit LoRA on 10 intents from the CLINC150 dataset using Google Colab and a Tesla T4 GPU. Validation accuracy rose from 18.5% before training to 100% after 60 training steps, taking about 37.7 minutes. Expected calibration error dropped from 0.0816 to 0.00314, and the model classified all 300 held-out test examples correctly, though this result is limited to the small 10-intent experiment.

I made a graveyard for deleted code. One of the ghosts wasn’t dead.

I made a graveyard for deleted code. One of the ghosts wasn’t dead. An additional project for the Ghost in the Machine challenge. Ghostlight Archive remains my first Week 4 entry. The rules say …

My phone runs a local 4B model that searches the web, and Perplexity feels pointless now

A small model that has web is a powerful model

Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA

qwenGPU compiles a 4-lane SIMT GPU into Qwen3.5-2B weights as 45 layers that run real CUDA kernels exactly.

I replaced Excel's Copilot with a local LLM, and spreadsheet work finally feels private

My spreadsheets stay on my Mac, and now the AI helping me with them does too.

What is Qwenputer ? A Working RISC-V CPU Inside Qwen3.5

What is Qwenputer ? A Working RISC-V CPU Inside Qwen3.5 This experimental 4B language model does not call an external computer. It carries one inside its own weights. The strangest part of Qwenputer …

A Working Nintendo in ~1GB of Qwen Weights

An NES CPU compiled into the weights of a stock Qwen3.5 model - dbreunig/nesformer

I connected Obsidian to a local LLM, and it's the closest I've come to a second brain that actually answers back

A vault that talks back

Coding From the Himalayas With an Offline AI Agent

How to set up and run an offline coding agent using OpenCode, Ollama and Qwen.

My local models are worse than Claude at almost everything, but they still run most of my workflow for $0

There are some things that just don't need Anthropic's flagship model

Hugging Face releases Carbon-X, an AI model for questions about DNA

Hugging Face mới đây đã ra mắt Carbon-X, một AI model mã nguồn mở giúp nghiên cứu sinh đặt câu hỏi về DNA sequences bằng tiếng Anh thông thường. Model này được phát triển hợp tác với các phòng lab ở Italy và China, sử dụng công nghệ xử lý ngôn tự nhiên và sinh học tính toán. Carbon-X mở ra khả năng tương tác trực tiếp với dữ liệu di truyền mà không cần kỹ năng lập trình chuyên sâu, giúp tăng tốc nghiên cứu trong lĩnh vực genomics. Đây là bước tiến quan trọng trong việc democratize các công cụ AI sinh học, cho phép cả những người không chuyên có thể khám phá dữ liệu DNA phức tạp.

Lập trình viên nên đọc bài này để khám phá cách mô hình Carbon-X cho phép phân tích trình tự DNA bằng tiếng Anh đơn giản.

WorldTUI: I trained a 360M model to pretend to be a terminal

Bối cảnh: Mô hình WorldTUI 360M parameters được huấn luyện để mô phỏng hành vi của terminal hệ thống. Nguyên nhân kỹ thuật: Sử dụng architecture transformer với lượng parameters đáng kể để ghi nhớ và tái tạo hoạt động terminal. Hệ quả: Người dùng có thể tương tác với một terminal AI hiểu và phản hồi dựa trên lịch sử thao tác trước đó. Điều đáng học: Dự án này cho thấy tiềm năng ứng dụng LLM vào các công cụ developer tools hiện có, nâng cao trải nghiệm làm việc của lập trình viên.

Bài này hướng dẫn cách xây dựng mô hình 360M mô phỏng terminal ghi nhớ hoạt động của người dùng.

I remapped the Copilot key on my keyboard to open my local model instead

Begone, Microslop!

I gave Claude's cheapest new model and a local Qwen the same coding jobs, and one of them is clearly the better deal

Tác giả đã so sánh hiệu suất giữa Claude Sonnet 3.5 và Qwen 2.5-Coder (phiên bản local) bằng các bài test coding. Mặc dù Claude Sonnet 3.5 có giá cao hơn gấp đôi ($3/giờ so với $1.4/giờ), Qwen 2.5-Coder lại cho kết quả vượt trội hơn, đặc biệt trong việc tự động sửa lỗi code. Đáng chú ý, Qwen phát hiện được nhiều bug hơn 40% và cung cấp solution chính xác hơn 25% so với Claude trong các test case phức tạp. Điều này cho thấy khi lựa chọn AI coding assistant, hiệu suất và chi phí nên được xem xét ngang hàng, không chỉ dựa vào tên tuổi hay giá cả của model.

Bài viết này giúp lập trình viên hiểu sự khác biệt quan trọng giữa nhận diện lỗi và khả năng sửa lỗi khi lựa chọn công cụ AI hỗ trợ coding.

Show HN: Qwen3-4B with the AI writing tics trained out

A small open model, fine-tuned on a MacBook Air, that writes without em dashes, "not X, but Y" or lists of three, with no system prompt. Answers on 40 held-out prompts, the training rounds, and how to run it.

Teaching a 27B Model to Write Trading Alphas: 101 Formulas, 12 Rewards and One Unseen Year

Teaching a 27B Model to Write Trading Alphas: 101 Formulas, 12 Rewards and One Unseen Year How Qwen3.8–27B learns to write WorldQuant-style formulaic alphas: the formula language, alpha vs. beta …