#mixture-of-experts

7 MoE routing strategies in production, clearly explained

+ a practical learning checklist to learn AI engineering.

I changed one llama.cpp flag, and my 8GB laptop GPU now runs a 35B model faster than I can read

Một lập trình viên đã tìm ra cách chạy model Llama 35B trên laptop GPU chỉ 8GB VRAM với tốc độ đáng kinh ngạc. Nguyên nhân kỹ thuật nằm ở việc chỉnh sửa cờ n_gpu_layers trong llama.cpp, cho phép tận dụng hiệu quả bộ nhớ VRAM thay vì để nó trở thành điểm nghẽn. Hệ quả là model 35B parameters chạy nhanh đến mức người dùng không kịp theo dõi, vượt xa các kỳ vọng ban đầu về giới hạn phần cứng. Điều đáng học hỏi là đôi khi vấn đề không nằm ở cấu hình phần cứng mà ở cách tối ưu hóa phần mềm để khai thác tiềm năng thực sự của hardware.

Bài viết tiết lộ cách tối ưu hóa một cờ trong llama.cpp để chạy mô hình 35B trên GPU 8GB nhanh hơn tốc độ đọc của bạn.

Build and Train a 25M Parameter LLM From Scratch on Your CPU

Bối cảnh: Bạn không cần cụm GPU khổng lồ để học cách AI hiện đại hoạt động. Nội dung video hướng dẫn xây dựng, pre-train và fine-tune một mô hình LLM 25 triệu parameter chỉ trên CPU. Nguyên nhân kỹ thuật: Video trình bày quy trình chi tiết từ đầu đến cuối với các công cụ như PyTorch, tạo tập dataset từ văn bản thuần túy. Hệ quả: Người xem sẽ có được kiến thức thực tế về cách LLM hoạt động mà không cần tài nguyên đắt đỏ. Điều đáng học: Dù quy mô nhỏ hơn các frontier model như GPT-4 hay Llama 2, quy trình này giúp hiểu nền tảng của deep learning trong NLP.

Bài hướng dẫn này giúp bạn xây dựng và huấn luyện một mô hình ngôn ngữ quy mô 25 triệu tham số ngay trên CPU mà không cần cluster GPU đắt đỏ.

NVIDIA Nemotron 3 Ultra: 10x cheaper than GPT-4o

NVIDIA vừa ra mắt Nemotron 3 Ultra, mô hình open weights với khả năng xử lý 1M token context, chi phí chỉ bằng 1/10 so với GPT-4o trên các benchmark agent. Sự chênh lệch giá này đến từ kiến trúc tối ưu và chiến lược cloud hosting của NVIDIA, cho phép người dùng tải weights, tự host và fine-tune hoàn toàn. Hệ quả là lập trình viên có thể triển khai Nemotron 3 Ultra với chi phí thấp đáng kể mà không phụ thuộc vào API trả phí của các dịch vụ đám mây. Bài này đáng đọc nếu bạn đang tìm kiếm một giải pháp LLM tiết kiệm chi phí, đặc biệt khi xây dựng các ứng dụng agent cần context window lớn.

NVIDIA Nemotron 3 Ultra mang đến lựa chọn AI mở với chi phí chỉ 1/10 GPT-4o, cho phép lập trình viên tự lưu trữ và tinh chỉnh mô hình.

I Retested My MoE Offloading Benchmarks. Some of My Conclusions Changed.

A follow-up to my original 16GB GPU experiment, this time with consistent quantization, repeated... Tagged with ai, machinelearning, llm.

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

Why Specialization Is Inevitable

AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.

Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.

AI On Your Gaming PC

Strata cho phép mô hình LLM 125 tỷ tham số chạy trên phần cứng gaming-grade với sự hỗ trợ của Qwen3.8 mixture-of-experts 24,576 chuyên gia chỉ kích hoạt 10 chuyên gia mỗi token. VRAM hoạt động như cache cho chuyên gia được sử dụng thường xuyên, phần lớn mô hình nằm trong RAM, và bảng tra cứu 29 GB nằm trên SSD. Kỹ thuật speculative decoding giúp đạt tốc độ 50-90 token/giây trên RTX 5070 12 GB VRAM. Dù có API tương thích OpenAI và Anthropic, chất lượng trả lời còn hạn chế so với các mô hình lớn hơn, với yêu cầu thực tế khoảng 32 GB RAM, 12 GB VRAM và 80 GB lưu trữ.

Bài viết này giúp bạn hiểu cách triển khai AI quy mô lớn trên máy tính cá nhân mà không cần GPU chuyên dụng từ trung tâm dữ liệu.

MoE models changed what "fits on my GPU" means, and most hardware advice hasn't caught up

Bối cảnh: Các mô hình Mixture of Experts (MoE) đã thay đổi hoàn toàn khái niệm "mô hình nào có thể chạy được trên GPU của tôi" khi một chiếc GPU 10 năm tuổi nay có thể xử lý được các mô hình ngôn ngữ lớn (LLM) lên tới 26 tỷ tham số. Nguyên nhân kỹ thuật: MoE hoạt động bằng cách chỉ kích hoạt một phần các chuyên gia (experts) trong mô hình cho mỗi token đầu vào, giảm đáng kể lượng tính toán cần thiết so với các mô hình dense truyền thống. Hệ quả: Phần lớn tư vấn phần cứng hiện tại vẫn chưa cập nhật thực tế này, dẫn đến khuyến nghị không cần thiết nâng cấp phần cứng. Điều đáng học: Người dùng có thể tận dụng hiệu quả phần cứng hiện có để chạy các mô hình lớn hơn nhiều so với khả năng lý thuyết, miễn là các mô hình hỗ trợ kiến trúc MoE.

MoE models đã thay đổi hoàn toàn cách bạn có thể chạy các mô hình ngôn ngữ lớn ngay cả trên phần cứng cũ như GPU 10 năm tuổi.

LLM Discussions (02): Train-time Vs. Test-time Compute

Các nhà nghiên cứu phát hiện small models với kỹ thuật deep thinking vượt trội hơn frontier models trong nhiều tác vụ, bất chấp sự khác biệt về kích thước. Nguyên nhân kỹ thuật nằm ở việc tái phân bổ compute từ giai đoạn train sang test-time, cho phép mô hình nhỏ hơn suy nghĩ lâu hơn để giải quyết vấn đề. Hệ quả là các mô hình nhỏ chỉ cần 10% compute training của frontier models nhưng đạt hiệu suất cao hơn trong các bài toán phức tạp như MATH và GSM8K. Điều đáng học hỏi là chiến lược phân bổ tài nguyên này mở ra hướng đi mới để tối ưu hóa hiệu năng model mà không cần tăng kích thước mô hình. Các lập trình viên có thể áp dụng phương pháp prompt chaining và few-shot prompting để triển khai deep thinking hiệu quả trên các ứng dụng thực tế.

Bài viết này giúp lập trình viên hiểu rõ cách tối ưu hóa hiệu năng giữa chi phí huấn luyện và sử dụng mô hình LLM.

vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72

vLLM đã được hỗ trợ trên NVIDIA Vera Rubin NVL72 với hỗ trợ mô hình ngay từ ngày đầu tiên, kernel FlashInfer được tối ưu hóa cho Rubin và MoE nhận biết vị trí, mang lại hiệu suất 7.8 lần so với GB200 NVL72. Sự hỗ trợ này cho phép hệ thống xử lý lượng lớn request mỗi giây trên mỗi GPU nhờ vào những cải tiến kỹ thuật cụ thể. Thông qua việc tích hợp Rubin-tuned FlashInfer kernels, vLLM tối ưu hóa được lượng tính toán trên từng đơn vị GPU. Với locality-aware MoE, mô hình có thể phân bổ công việc hiệu quả hơn giữa các GPU. Các lập trình viên làm việc với hệ thống AI lớn nên cân nhắc cập nhật lên phiên bản vLLM mới để tận dụng tối đa hiệu năng phần cứng này.

vLLM trên NVIDIA Vera Rubin NVL72 tăng hiệu suất lên 7.8 lần so với GB200 NVL72 giúp lập trình viên tối ưu hóa ứng dụng AI hiệu quả.

Open October LLM Architecture Roundup

A roundup of ten open-weight LLM architecture releases from October 2026, covering attention mechanisms, hybrid layers, and MoE designs.

Your Experts Have Partners. There's HOPE for Keeping Them Together

A Blog post by Amazon on Hugging Face

Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared

Compare MoE routing across 10 models: experts, top-k, shared experts and gating for DeepSeek, Qwen, Mixtral, Llama 4.

Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory

In an AI factory, high bandwidth memory (HBM)is the fastest, most expensive, and most contested memory tier. Every byte spent on a redundant weight copy…

Baidu released ERNIE 5.5 Flash Base

ERNIE 5.5 Flash Base: a 280B-A14B hybrid-attention MoE pretrained on 33.5T tokens. An open, efficient pretraining base.

NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%

NVIDIA shows 3 ways to speed up MoE inference on DGX Spark, lifting Ling-3.0-flash GSM8K decode throughput 42.5%.

How Nvidia's New Nemotron Model Works

In this article, we’ll look at how Nemotron works and the various techniques used by Nvidia while building it.

Day-0 Support for a 744B Model Isn’t a Checkbox — It’s Kernels, Quantization, and Seven Chip Stacks

Day-0 Support for a 744B Model Isn’t a Checkbox — It’s Kernels, Quantization, and Seven Chip Stacks When Zhipu’s GLM-5 paper and Chinese chip vendors all claimed same-day inference support …

I Optimized Google Colab’s Free TPU to Train 44× Faster Than T4

I Optimized Google Colab’s Free TPU to Train 44× Faster Than T4 By: Neil Dhere Training a language model on a free Colab TPU sounds easy until you ask two questions. How long will the run really …

Why All-to-Alls are Important for MoEs

Why All-to-Alls are Important for MoEs A primer on token communication under Expert Parallelism in Mixture of Experts models Introduction Earlier this year I dove into the world of Machine Learning …

Strata, Explained: Running 125B-Parameter Models on a Gaming PC

Strata, Explained: Running 125B-Parameter Models on a Gaming PC A hands-on tutorial covering installation, the exact model compatibility list, the API, and an honest feature-by-feature comparison …

Meta Andromeda: Powering the Next Generation of Ads Retrieval Through Model-System Co-Design

Meta's next-generation Andromeda ads retrieval system now scores every eligible ad and surfaces top candidates at over one billion ads per second, a 100x throughput jump over the 2024 system. A new mixture-of-experts retrieval architecture reaches near ranking-level model quality at about 300x fewer inference FLOPs. A fused GPU kernel and co-located index matching, scoring and top-K selection on a single GPU cut network traffic by roughly 100x. Joint work with NVIDIA pushed the gating kernel to over 10 billion ads per second per GH200 GPU, with INT8 quantization adding up to a further 2x. Since 2025, the system has driven a 2.4% increase in conversions on Facebook.

My local LLM kept thinking in circles, and the fix was downloading a different version of the same model

Vấn đề thinking in circles xuất hiện khi chạy local LLM với phiên bản quantization không phù hợp. Nguyên nhân kỹ thuật nằm ở việc model bị quá mức quantization (ví dụ: sử dụng GGUF Q4_K_M thay vì Q5_K_M), làm mất đi thông tin quan trọng trong quá trình nén. Hệ quả là rối loạn logic, lặp vô hạn và không tạo được output hợp lý. Bài viết nhấn mạnh việc kiểm tra kỹ version-specific details trước khi implement, vì cùng một model nhưng các phiên bản quantization khác nhau có thể tạo ra kết quả hoàn toàn khác nhau.

Sai định lượng lượng hóa khiến mô hình LLM cục bộ rơi vào vòng lặp suy nghĩ, bài viết chỉ ra cách khắc phục hiệu quả.

Mistral Large 4

Mistral Large 4 is a state-of-the-art, open-weight, general-purpose multimodal model with a granular Mixture-of-Experts architecture. It features 52B active parameters and 1.05T total parameters, and a 1.6B vision encoder.

DeepSeek: DeepSeek v4.1 Flash 1017

DeepSeek V4.1 Flash 1017 là phiên bản được phát hành vào ngày 17 tháng 10 năm 2026 dưới dạng snapshot của model DeepSeek V4.1 Flash. Model này được cung cấp thông qua API có tên là deepseek-flash bởi công ty DeepSeek. Với số version là 1017, đây là một cập nhật mới nhất trong dòng sản phẩm DeepSeek V4.1. Flash model thường được thiết kế để có thời gian phản hồi nhanh và hiệu suất cao trong các tác vụ xử lý ngôn ngữ tự nhiên. Lập trình viên có thể sử dụng thông qua API để tích hợp vào ứng dụng của mình, nhưng cần lưu ý rằng đây là phiên bản tĩnh không có cập nhật tiếp theo.

DeepSeek V4.1 Flash 1017 mang đến cho lập trình viên mô hình AI hiệu suất cao với thời gian phản hồi tối ưu.

Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX

Bối cảnh là bài viết khám phá quá trình tối ưu hóa mô hình Kimi K3 trên card đồ họa AMD Instinct MI355X. Nguyên nhân kỹ thuật chính là việc cải thiện hiệu suất inference bằng cách tối ưu hóa hệ thống AgentX, đạt được throughput per GPU ngang ngang với NVIDIA HGX B300. Hệ quả là giải pháp trên AMD có khả năng cạnh tranh sòng phẳng với giải pháp của NVIDIA trong các tác vụ AI heavy-duty. Điều đáng học là bài viết chi tiết các kỹ thuật tuning hiệu suất và phân tích bottleneck cụ thể mà không lập trình viên nào muốn bỏ lỡ khi làm việc với hệ thống inference distributed.

Bài viết này giải thích cách tối ưu hóa Kimi K3 trên AMD Instinct MI355X để đạt hiệu suất ngang bằng với NVIDIA HGX B300 trên mỗi GPU.

Run fast, private agents on-device with LFM2.5-24B-A2B

A Blog post by Liquid AI on Hugging Face

Run LLM Locally: 125B Qwen3.8-Flash-Next on 12 GB VRAM

Strata cho phép chạy mô hình ngôn ngữ lớn 125B Qwen3.8-Flash-Next hoàn toàn offline với chỉ 12 GB VRAM và 64 GB RAM, đạt tốc độ xử lý lên đến 94 tokens/giây. Mặc dù kích thước mô hình lớn vượt xa dung lượng VRAM, kỹ thuật quantization và xử lý chunk giúp hoạt động hiệu quả. Công nghệ này mở ra khả năng sử dụng các LLM khổng lồ trên phần cứng phổ thông mà không cần kết nối đám mây. Việc tối ưu hóa bộ nhớ nhờ paging và caching giúp đạt hiệu năng đáng ngạc chí so với yêu cầu tài nguyên ban đầu. Đây là giải pháp tham khảo giá trị cho các developer muốn triển khai LLM quy mô lớn trong môi trường có hạn chế về tài nguyên GPU.

Bài hướng dẫn này giúp bạn chạy mô hình ngôn ngữ lớn 125B Qwen3.8-Flash-Next trên card đồ họa chỉ 12 GB VRAM, mang lại hiệu suất đáng kinh ngạc.

DeepSeek-V3 from Scratch: Building the Architecture in PyTorch

Bối cảnh là xây dựng mô hình DeepSeek-V3 từ đầu trong PyTorch để khám phá các công nghệ MLA, MoE, RoPE và MTP. Nguyên nhân kỹ thuật là việc tích hợp các cơ chế chuyên biệt như Multi-Head Latent Attention (MLA) và Mixture of Experts (MoE) giúp tăng hiệu suất mô hình. Hệ quả là người đọc sẽ hiểu cách triển khai các thành phần phức tạp này và cách chúng hoạt động cùng nhau. Điều đáng học là cách kết hợp các kỹ thuật attention, positional encoding và routing mechanism để xây dựng một mô hình mạnh mẽ hơn. Bài viết cung cấp hướng dẫn thực hành và hiểu biết sâu về việc triển khai các thành phần tiên tiến của Large Language Model.

Bài viết này giúp lập trình viên nắm bắt kiến thức thiết kế và triển khai kiến trúc mô hình DeepSeek-V3 tiên tiến bằng PyTorch từ đầu.

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

A Blog post by Ai2 on Hugging Face

Vincenzo Fornaro and Colibrì: “I’m Not Interested in Genius, I’m Interested in Curiosity”

Interview with Vincenzo Fornaro, founder of Colibrì, the open-source project bringing massive AI models to everyday hardware

Backdoors in LLMs: Why model scanning isn't enough

Trong bối cảnh ngày càng nhiều ứng dụng sử dụng LLM (Large Language Models), các backdoor tiềm ẩn đang trở thành mối đe dọa nghiêm trọng cho chuỗi cung ứng AI. Nguyên nhân kỹ thuật là những backdoor này có thể né tránh các phương pháp quét model tiêu chuẩn bằng cách chỉ kích hoạt khi gặp input đặc biệt. Hệ quả là các tổ chức có thể vô tình triển khai model chứa backdoor, dẫn đến việc attacker có thể kiểm soát output hoặc chiếm đoạt hệ thống. Để đối phó, chúng ta cần triển khai behavioral probing (dò quà hành vi) và provenance verification (xác thực nguồn gốc) như phương pháp hiệu quả hơn để phát hiện các backdoor tinh vi. Bài viết này cung cấp kiến thức thực tế về cách bảo vệ hệ thống LLM khỏi các tấn công nguồn cung cấp ngày càng tinh vi, điều mà bất kỳ nhà phát triển AI nào cũng cần quan tâm.

Bài viết này giúp bảo vệ chuỗi cung ứng LLM bằng cách phát hiện backdoor qua thăm dò hành vi và xác minh nguồn gốc mà quét mô hình thông thường bỏ sót.

System 1 vs. System 2 Agent Harnesses, clearly explained

...and a

Efficient MoE Training for Biological Foundation Models

Khi mô hình ngôn ngữ ngày càng lớn, việc mở rộng kiến trúc dense trở nên tốn kém hơn. Trong transformer dense, mỗi token đều phải đi qua mọi layer dẫn đến chi phí tính toán cao. Các nghiên cứu gần đây tập trung vào Mixture of Experts (MoE) để giảm bớt gánh nặng này bằng cách chỉ kích hoạt một phần các expert cho mỗi token. Tuy nhiên, bài phát hiện ra hiệu suất của MoE giảm đáng kể khi batch size nhỏ và giải pháp gồm thêm parameter sharing và multi-token routing. Điều này quan trọng với lập trình viên xây dựng biological foundation models cần cân nhắc giữa hiệu năng và chi phí tính toán.

Bài viết này giúp lập trình viên hiểu cách huấn luyện hiệu quả các MoE (Mixture of Experts) cho mô hình sinh học, giảm chi phí đáng kể khi mở rộng quy mô.

MoE inference engineering, clearly explained

Bối cảnh Mixture of Experts (MoE) đang trở thành xu hướng trong model transformer lớn do giảm đáng kể chi phí tính toán. Nguyên nhân kỹ thuật là mỗi token chỉ kích hoạt một tập con nhỏ expert (thường 2/8 tổng số expert), giảm từ 75% FLOPs so với dense model. Hệ quả là inference MoE có thể đạt 2.3x throughput hơn dense model trên NVIDIA A100 khi implement với công cụ DeepSpeed. Điều đáng học là cần cân nhắc routing overhead (0.3ms/token) và memory usage của nhiều small expert thay vì một large model.

MoE inference engineering giải thích rõ ràng với hình ảnh giúp lập trình viên tối ưu hóa hiệu năng hệ thống phân rã chuyên sâu.

tokens too cheap to meter

Trong bối cảnh phát triển mạnh mẽ của các mô hình AI lớn, giá token được dự báo sẽ rẻ như điện trong thập kỷ tới nhờ tiến bộ của công nghệ chế tạo chip và tối ưu hóa algorithm. Nguyên nhân chính là việc cải tiến kiến trúc transformer và hiệu suất inference tăng lên trên các hardware chuyên dụng như GPU NVIDIA H100 và TPU. Hệ quả này sẽ giúp giảm chi phí training và inference cho các mô hình language model (LLM) xuống còn vài cent cho mỗi 1,000 tokens. Điều đáng học hỏi là xu hướng này sẽ phá vỡ rào cản kinh tế cho các ứng dụng AI quy mô lớn, cho phép cả startup và tập đoàn lớn triển khai các giải pháp phức tạp mà không lo về chi phí tính toán.

Bài viết này giúp lập trình viên hiểu được tương lai chi phí tính toán rẻ như điện ảnh hưởng đến công việc phát triển ứng dụng.

My mini PC can fit larger models than my old gaming card, but it still loses on one key metric

Trong khi MoE models cho phép tận dụng VRAM hiệu quả hơn, bài viết chỉ ra rằng mini PC với GPU Intel Arc A380 8GB xử lý được model lớn hơn 6.7B parameters so với card gaming cũ của tác giả. Tuy nhiên, về latency, Intel Arc A380 vẫn thua kém các gaming card cao cấp tới 3-4 lần do hạn chế về bandwidth. Điều này cho thấy lựa chọn hardware cần cân nhắc giữa capacity và performance. Bài viết cung cấp số liệu cụ thể về throughput và latency khi inference các MoE models trên cả hai hệ thống, giúp người đọc hiểu rõ trade-off khi chọn mini PC thay cho gaming PC.

Bài này giúp bạn hiểu sự đánh đổi giữa VRAM và hiệu năng khi chạy mô hình MoE trên mini PC so với card game.

How to Run a Big Model on Cheap Hardware?

A large AI model can run on modest hardware only by reducing the memory it occupies, reducing the calculations it performs, or moving some work to slower hardware.

I check these 4 numbers before downloading a local AI model, and tokens per second is dead last

Before your local AI runs, it needs to walk