Achieving near-zero-downtime scaling in Elastic Expert Parallelism

Distributed LLM Inference on Kubernetes with llm-d, Wasm, & TornadoVM

Edoardo Vacchi covers the evolving landscape of WebAssembly on the backend, running Java workloads on GPUs using TornadoVM, and optimizing distributed AI inference using llm-d and vLLM on Kubernetes.

7 MoE routing strategies in production, clearly explained

+ a practical learning checklist to learn AI engineering.

How to run an LLM locally

Run an LLM locally with Ollama. See how much memory you need, where LM Studio and llama.cpp fit, and how to call the model from code.

RAG vs. Vectorless RAG, clearly explained!

...explained visually (with tradeoffs in production).

When the Political Shift Hits the Cluster: What the 2026 Midterms Mean for AI Infra and Code

If you’ve been watching the tech sector and macroeconomic feeds over the last 48 hours, you’ve... Tagged with discuss, ai, webdev, programming.

Why Other Requests Change Your LLM’s Output

+ an update on Harness Engineering 2.0.

6 KV Cache Quantization Approaches

Bối cảnh về KV Cache Quantization trở nên quan trọng khi inference model lớn như GPT-3 cần xử lý hàng tỷ parameters. Nguyên nhân kỹ thuật là do KV Cache chiếm tới 40% bộ nhớ VRAM, tạo ra bottleneck đáng kể cho các inference server. Hệ quả rõ ràng là việc lượng hóa KV Cache giúp giảm 50-70% bộ nhớ sử dụng và tăng tốc inference đến 30%. Điều đáng học là 6 phương pháp lượng hóa KV Cache từ các nghiên cứu gần đây của NVIDIA và Google Research đều có trade-off giữa độ chính xác và hiệu suất, tùy thuộc vào hardware support cụ thể.

Cách tiếp cận KV Cache Quantization được minh họa trực quan giúp lập trình viên hiểu và tối ưu hiệu năng mô hình ngôn ngữ.

Why DeepSeek stores its KV cache on disk

DeepSeek's engineering behind 26x faster time to first token.