#mixture-of-experts

NVIDIA Nemotron 3 Ultra: 10x cheaper than GPT-4o

NVIDIA vừa ra mắt Nemotron 3 Ultra, mô hình open weights với khả năng xử lý 1M token context, chi phí chỉ bằng 1/10 so với GPT-4o trên các benchmark agent. Sự chênh lệch giá này đến từ kiến trúc tối ưu và chiến lược cloud hosting của NVIDIA, cho phép người dùng tải weights, tự host và fine-tune hoàn toàn. Hệ quả là lập trình viên có thể triển khai Nemotron 3 Ultra với chi phí thấp đáng kể mà không phụ thuộc vào API trả phí của các dịch vụ đám mây. Bài này đáng đọc nếu bạn đang tìm kiếm một giải pháp LLM tiết kiệm chi phí, đặc biệt khi xây dựng các ứng dụng agent cần context window lớn.

NVIDIA Nemotron 3 Ultra mang đến lựa chọn AI mở với chi phí chỉ 1/10 GPT-4o, cho phép lập trình viên tự lưu trữ và tinh chỉnh mô hình.

LLM Discussions (02): Train-time Vs. Test-time Compute

Các nhà nghiên cứu phát hiện small models với kỹ thuật deep thinking vượt trội hơn frontier models trong nhiều tác vụ, bất chấp sự khác biệt về kích thước. Nguyên nhân kỹ thuật nằm ở việc tái phân bổ compute từ giai đoạn train sang test-time, cho phép mô hình nhỏ hơn suy nghĩ lâu hơn để giải quyết vấn đề. Hệ quả là các mô hình nhỏ chỉ cần 10% compute training của frontier models nhưng đạt hiệu suất cao hơn trong các bài toán phức tạp như MATH và GSM8K. Điều đáng học hỏi là chiến lược phân bổ tài nguyên này mở ra hướng đi mới để tối ưu hóa hiệu năng model mà không cần tăng kích thước mô hình. Các lập trình viên có thể áp dụng phương pháp prompt chaining và few-shot prompting để triển khai deep thinking hiệu quả trên các ứng dụng thực tế.

Bài viết này giúp lập trình viên hiểu rõ cách tối ưu hóa hiệu năng giữa chi phí huấn luyện và sử dụng mô hình LLM.

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

Why Specialization Is Inevitable

AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.

Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.

Kimi K3 by Moonshot now available on Modal

Mô hình đa phương thức Kimi K3 của Moonshot, với 2,8 nghìn tỷ tham số, cùng công cụ DFlash speculator tùy chỉnh, đã được triển khai trên nền tảng Modal.

Là người phát triển muốn tối ưu hóa hiệu suất và tính năng AI cho ứng dụng của mình, bạn nên đọc bài này để hiểu cách Kimi K3 và DFlash Speculator của Moonshot có thể giúp cải thiện hiệu năng xử lý đa modal và dự đoán trong các ứng dụng AI hiện đại.

The Fastest Nemotron Yet: Embracing NVIDIA Nemotron 3.5 Lightning in Kilo

NVIDIA vừa giới thiệu Nemotron 3.5 Lightning, phiên bản tối ưu hóa mạnh mẽ nhất cho các tác nhân (agents) luôn hoạt động, với khả năng tùy chỉnh linh hoạt.

Lập trình viên phát triển ứng dụng AI cần hiểu về Nemotron 3.5 Lightning vì nó là nền tảng mở, linh hoạt cho các agent thông minh hoạt động liên tục, giúp tối ưu hóa hiệu suất và khả năng tùy chỉnh cho các giải pháp tự động hóa và chatbot cao cấp.

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

MoE models bắt đầu với một số lượng chuyên gia hạn chế, ví dụ Mixtral sử dụng 8 chuyên gia mỗi lớp. Để đạt hiệu suất cao hơn, các nhà nghiên cứu đã mở rộng số chuyên gia lên gần 900 mỗi lớp trong Kimi K3, đồng thời phải giải quyết vấn đề tính sparse và độ ổn định trong quá trình huấn luyện. Các cơ chế nén như cắt bớt chuyên gia ít dùng, lượng tử hóa và phân tích hạng thấp kết hợp với các kỹ thuật ổn định như loss phụ trợ, hệ số capacity và dropout trên router cho phép mô hình vẫn khả thi để huấn luyện mà không giảm hiệu suất. Điều đáng học là khi mở rộng MoE, việc cân bằng tải giữa các chuyên gia và duy trì độ ổn định của router là then chốt để tránh hiện tượng chuyên gia chết hoặc quá tải. Điều này cho thấy, ngoài việc tăng số chuyên gia, đầu tư vào các kỹ thuật nén và ổn định là yếu tố quyết định sự thành công của các mô hình MoE hiện đại.

Bài viết này giúp lập trình viên hiểu cách mô hình Mixture-of-Experts phát triển từ vài chuyên gia đến gần 900 chuyên gia mỗi lớp và các cơ chế nén ổn định.

NVIDIA Nemotron 3.5 Lightning and NeMo Switchyard Deliver Faster, Smarter, More Efficient Agentic AI

NVIDIA giới thiệu Nemotron 3.5 Lightning (mô hình AI nhẹ) và NeMo Switchyard (thư viện định tuyến), giúp tăng tốc, tối ưu hóa và kiểm soát tốt hơn các tác vụ AI agentic trên nhiều nền tảng từ thiết bị edge, PC, workstation đến data center và cloud.

NVIDIA Nemotron 3.5 và NeMo Switchyard giúp lập trình viên tối ưu hóa hiệu suất và độ linh hoạt cho các ứng dụng AI agentic trên mọi thiết bị, từ máy tính cá nhân đến cloud, giúp tiết kiệm chi phí và tăng tốc phát triển dự án.

How a Frontier Model Gets Built, Read from the Kimi K3 Report

Báo cáo kỹ thuật 47 trang của Moonshot AI về Kimi K3 tiết lộ mô hình 2,8 nghìn tỷ tham số (mô hình hỗn hợp chuyên gia mở) sử dụng kiến trúc kết hợp giữa linear attention và full attention, cùng routing thưa thớt qua 896 chuyên gia. Phần lớn công sức tập trung vào xây dựng môi trường học tăng cường có thưởng có thể xác minh, pipeline sinh tác vụ dựa trên biểu đồ tri thức, đào tạo 9 mô hình chuyên biệt rồi distilled thành một, và tối ưu stack phục vụ với prefix caching, cache-aware routing, quantization. Báo cáo cũng đề cập đến rủi ro bảo mật từ trọng số mở, hướng dẫn phát triển ứng dụng tập trung vào đánh giá, agentic engineering dài hạn và kinh tế phục vụ thay vì kiến trúc mới lạ.

Lập trình viên nên đọc bài này để hiểu cách xây dựng mô hình AI tiên phong không chỉ là về kiến trúc mà còn là về kỹ thuật thực hiện chi tiết—từ thiết kế môi trường RL, kiến trúc task, đến tối ưu hóa serving—để tránh sai lầm và tối đa hóa hiệu quả trong ứng dụng thực tế.

MoE inference engineering, clearly explained

...with visuals.

tokens too cheap to meter

tokens are going to be as cheap as electricity within the decade

My mini PC can fit larger models than my old gaming card, but it still loses on one key metric

With MoE models, VRAM is no longer a hard cap, but that doesn't make mini PCs the better buy

How to Run a Big Model on Cheap Hardware?

A large AI model can run on modest hardware only by reducing the memory it occupies, reducing the calculations it performs, or moving some work to slower hardware.

I check these 4 numbers before downloading a local AI model, and tokens per second is dead last

Before your local AI runs, it needs to walk

Amazon SageMaker AI now supports serverless model customization for NVIDIA Nemotron 3.5 Lightning

Amazon SageMaker AI mới đây đã tích hợp tính năng serverless model customization cho NVIDIA Nemotron 3.5 Lightning. Phát triển này cho phép nhà phát triển triển khai các mô hình lớn mà không cần quản lý hạ tầng server, giảm thiểu chi vận hành và tối ưu hóa hiệu suất. Việc hỗ trợ NVIDIA Nemotron 3.5 Lightning mang lại khả năng xử lý các mô hình lên đến 70 tỷ parameter với độ trễ thấp. Đây là bước tiến quan trọng trong việc making AI more accessible cho các doanh nghiệp vừa và nhỏ. Nếu bạn đang làm việc với Large Language Models, tính năng này đáng để xem xét cho các dự án cần khả năng mở rộng linh hoạt.

Bài viết này giúp lập trình viên cập nhật tính năng serverless mới trong Amazon SageMaker AI cho NVIDIA Nemotron 3.5 Lightning, tối ưu hóa quá trình tùy chỉnh mô hình AI.

Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each

How can a 30B-parameter model activate only 3B parameters per token, and still use the capacity of the larger model? Nemotron 3.5…

Accelerating Dropless MoE Training in JAX with NVIDIA Transformer Engine

Các mô hình Mixture of Experts (MoE) như DeepSeek và Mixtral đang trở thành xu hướng kiến trúc trong đào tạo AI quy mô lớn. Việc triển khai MoE trong JAX với NVIDIA Transformer Engine giúp tăng tốc training 2.7 lần so với phương pháp truyền thống nhờ vào kỹ thuật thuật toán và tối ưu hóa hardware. Kết quả này đạt được bằng cách giảm thiểu lượng activation cần lưu trong GPU và tối ưu hóa memory bandwidth. Lập trình viên nên tìm hiểu kỹ thuật này nếu đang làm việc với MoE, vì nó giải quyết bài toán bottleneck memory trong MoE training mà không cần tăng kích thước GPU.

Bài viết này giúp bạn tăng tốc độ huấn luyện mô hình Mixture of Experts (MoE) không mất dữ liệu trong JAX với NVIDIA Transformer Engine.

“Machine translation is still broken for most of the world’s languages”: Cohere builds non-reasoning for a reason

Mặc dù các dịch thuật máy đã phát triển mạnh, nhưng đa số ngôn ngữ trên thế giới vẫn thiếu hỗ trợ tốt. Cohere vừa ra mắt North Small Translate, một mô hình dịch vượt trội hơn DeepL và Google Translate trên bộ dữ liệu WMT26 với 50 ngôn ngữ khác nhau. Thành công này đến từ việc tập trung vào các ngôn ngữ nhỏ (non-renerg) thay vì ngôn ngữ lớn, giải quyết vấn đề thiếu dữ liệu huấn luyện. Điều đáng học là việc tiếp cận thị trường ngách này của Cohere có thể mở ra hướng đi mới cho các công ty AI muốn cạnh tranh với các gã khổng lồ. Tuy nhiên, sử dụng thương mại mô hình này yêu cầu giấy phép Model Vault, cho thấy một rào cản tiềm năng trong việc tiếp cận công nghệ.

Cohere vừa tạo ra bản dịch đa ngôn ngữ vượt trội hơn DeepL và Google Translate, mang đến giải pháp thay thế hiệu quả cho 50 ngôn ngữ trên thế giới.

Ling 3.0 Flash Fin: A 124B Parameter Model Punching at the Weight Class of Trillion-Parameter Giants

Bối cảnh là Ling 3.0 Flash Fin, một mô hình AI chuyên về tài chính với 124 tỷ tham số, có hiệu năng tương đương các mô hình nghìn tỷ tham số. Nguyên nhân kỹ thuật là nhờ kiến trúc và phương pháp huấn luyện tối ưu, cho phép mô hình nhỏ hơn nhưng mạnh hơn. Hệ quả là người dùng có thể tiếp cận miễn phí một công nghệ AI hàng đầu mà không cần cơ sở hạ tầng đắt đỏ cho các mô hình lớn. Điều đáng học là sự cân bằng giữa quy mô mô hình và hiệu năng có thể đạt được với thiết kế kỹ thuật đúng đắn, chứ không nhất thiết phải theo xu hướng tăng số lượng tham số vô tận.

Ling 3.0 Flash Fin cho phép lập trình viên sử dụng mô hình AI 124 tỷ tham số hiệu quả như những siêu mô hình trăm tỷ mà không tốn chi phí.

Together AI expands fine-tuning service with more models, live metrics, and finer controls

Together AI mở rộng dịch vụ fine-tuning với nhiều mô hình mới, theo dõi experiment thời gian thực và điều khiển chi tiết. Dịch vụ hiện hỗ trợ thêm các open-weight models mới như Code Llama 70B và Mistral 7B, cùng với tính năng Expert LoRA giúp tinh chỉnh layer một cách chọn lọc. Giá training cho một số mô hình đã giảm đáng kể, ví dụ từ $0.6/token xuống còn $0.3/token cho Llama 2 70B. Người dùng có thể theo dõi live metrics, dùng early stopping để tối ưu hóa, và kiểm tra tokenized dataset trước khi training. Điều đáng học là các công cụ này giúp giảm chi phí và tăng hiệu quả fine-tuning, đặc biệt hữu ích cho các ứng dụng AI cần tùy biến cao.

Together AI mở rộng dịch vụ fine-tuning với nhiều mô hình mới, chỉ số theo thời gian thực và kiểm soát chi tiết hơn giúp lập trình viên tối ưu hóa hiệu suất mô hình với chi phí thấp hơn.

When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving

Encode-prefill-decode (EPD) disaggregation is an inference optimization technique for multimodal models that separates the vision encoder stage from the prefill…

Co-Designing AI Models Using Speculative Decoding for Faster LLM Inference

This post is the third in a series on AI model co-design. It explores how to accelerate LLM inference while maintaining accuracy using speculative decoding and…

FreeToken Just Shipped. Is It Better Than Ollama and llama.cpp?

FreeToken Just Shipped. Is It Better Than Ollama and llama.cpp? Testing the radical new MoE serving engine against the reigning champions on a 6GB laptop FreeToken shipped recently. As a new serving …

Open-weight models are fast on Neon AI Gateway. Here's why

Open-weight models chạy nhanh trên Neon AI Gateway nhờ Databricks Foundation Model APIs tối ưu hóa với prompt caching và các công nghệ khác.

Tìm hiểu cách Open-weight models đạt hiệu suất vượt trội trên Neon AI Gateway nhờ các tối ưu hóa của Databricks Foundation Model APIs.

DeepSeek V4 Pro 0813

DeepSeek V4 Pro 0813 là mô hình mixture-of-experts (MoE) quy mô lớn của DeepSeek, có chi phí $0,435 cho mỗi triệu token đầu vào và $0,87 cho mỗi triệu token đầu ra. Mô hình hỗ trợ cửa sổ ngữ cảnh 1.048.576 token và tối đa 384.000 token đầu ra.

Là người phát triển cần hiểu về DeepSeek V4 Pro 0813 để tối ưu hóa hiệu suất cho các ứng dụng AI lớn, đặc biệt khi lựa chọn mô hình phù hợp với chi phí và khả năng xử lý token lớn trong dự án của mình.

Qwen/Qwen3.8-2.4T-A95B

Chúng ta đang nỗ lực thúc đẩy và phổ cập trí tuệ nhân tạo thông qua mã nguồn mở và khoa học mở.

Lập trình viên nên đọc bài này để hiểu về tiến bộ mới trong AI mở nguồn như Qwen3.8, giúp họ tìm kiếm công cụ mạnh mẽ, hiệu quả hơn cho phát triển ứng dụng, tối ưu hóa hiệu suất và mở rộng khả năng ứng dụng trong các dự án công nghệ cao.

Own the Models You’re Renting Introducing distiliaa.

Distilia giới thiệu nền tảng distiliaa nhằm thay thế mô hình AI thuê (rented models) bằng giải pháp sở hữu (own models), nhằm giải quyết vấn đề chi phí và hiệu suất khi sử dụng các mô hình quy mô lớn (frontier-scale) trong sản xuất thực tế.

Là lập trình viên phát triển ứng dụng AI thực tế, bài này giúp bạn hiểu cách tối ưu hóa hiệu suất và chi phí bằng cách sử dụng mô hình reasoning nhỏ hơn, thay vì phụ thuộc vào mô hình lớn đắt tiền, từ đó tiết kiệm thời gian và nguồn lực cho dự án của bạn.

LocateAnything-3B, Qwen-AgentWorld-35B-A3B, and Qwen3.5-122B-A10B models now available on Amazon SageMaker JumpStart

Ba mô hình AI mới gồm LocateAnything-3B, Qwen-AgentWorld-35B-A3B và Qwen3.5-122B-A10B đã được bổ sung vào Amazon SageMaker JumpStart.

Lập trình viên nên đọc bài này để khám phá các mô hình AI mạnh mẽ mới từ AWS, đặc biệt là LocateAnything-3B và Qwen3.5, giúp tối ưu hóa ứng dụng AI của mình với khả năng xử lý đa nhiệm, agentic và hiệu suất cao trên cloud, giúp tiết kiệm chi phí và tăng tốc phát triển dự án.

Nvidia launches a smaller, faster Nemotron model and a router to put it to work

Nvidia ra mắt mô hình Nemotron 30B nhỏ gọn, tối ưu tốc độ và huấn luyện sau đào tạo, cùng NeMo Switchyard định tuyến workloads của tác nhân AI đến mô hình phù hợp ở từng bước.

Lập trình viên AI nên đọc để hiểu cách NVIDIA tối ưu hóa mô hình mở rộng 30 tỷ tham số bằng kiến trúc nhẹ nhàng và công cụ phân phối công việc cho các agent AI, giúp tiết kiệm chi phí và nâng cao hiệu suất trong ứng dụng thực tế.

langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking, and LightOnOCR-2-1B models now available on Amazon SageMaker JumpStart

Ba mô hình mới gồm langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking và LightOnOCR-2-1B đã được bổ sung vào Amazon SageMaker JumpStart.

Nếu bạn là lập trình viên muốn phát triển ứng dụng AI tích hợp với các mô hình xử lý văn bản, vector search, hoặc OCR hiệu quả, bài viết này sẽ giới thiệu các mô hình mới trên AWS có thể giúp tối ưu hóa hiệu suất và chi phí cho các dự án của bạn.

Kimi K3's open weights just dropped, and it's another reason local AI is getting scary good

Kimi K3 vừa phát hành phiên bản open weights, nhưng hiện chưa thể tự lưu trữ (self-host) được.

Lập trình viên nên đọc bài này để hiểu cách khai thác các mô hình AI mở nguồn (open weights) như Kimi K3 để xây dựng hệ thống tự chủ, tối ưu hóa chi phí và mở rộng khả năng ứng dụng cho dự án AI cá nhân của mình.

Kimi K3 runs on 8GB CPU, No GPU

Kimi K3 vận hành trên CPU 8GB mà không cần GPU. Bài viết hướng dẫn cách chạy mô hình này trên hệ thống cục bộ.

Những kiến thức về cách tối ưu hóa và chạy mô hình AI lớn trên CPU mà không cần GPU sẽ giúp bạn tiết kiệm chi phí và mở rộng khả năng thực hành của mình trong lập trình AI.

GitHub - leonickson1/Swiftlet

Đây là trang GitHub của dự án Swiftlet, nơi người dùng có thể đóng góp bằng cách tạo tài khoản trên nền tảng này.

Là người phát triển iOS/macOS, Swiftlet có thể là một công cụ mạnh mẽ giúp tối ưu hóa hiệu suất và quản lý bộ nhớ cho ứng dụng của bạn, giúp bạn tiết kiệm thời gian và code chất lượng hơn.