Announcing New vLLM and SGLang Inference Engines on TPU

7 MoE routing strategies in production, clearly explained

+ a practical learning checklist to learn AI engineering.

RAG vs. Vectorless RAG, clearly explained!

...explained visually (with tradeoffs in production).

How to run an LLM locally

Run an LLM locally with Ollama. See how much memory you need, where LM Studio and llama.cpp fit, and how to call the model from code.

When the Political Shift Hits the Cluster: What the 2026 Midterms Mean for AI Infra and Code

If you’ve been watching the tech sector and macroeconomic feeds over the last 48 hours, you’ve... Tagged with discuss, ai, webdev, programming.

PyTorch 2.15 tackles the 'one bad GPU' problem

PyTorch 2.15 ships a rewritten NCCL backend that stops a single failing GPU from forcing a full training restart. The new ProcessGroupNCCL allows only one communicator per process group during initialization, which by default eliminates the crosstalk that the old version's many communicators caused. A third-party orchestrator can now exclude a crashed or slow GPU and assign a replacement worker. A new 'flight recorder' captures operation snapshots for debugging stalls. The legacy backend remains as a rollback option but will be removed in 2.16, planned for early next year. The release also totals 3,117 commits from 583 contributors and includes parallel processing improvements for Apple gear and support for Nvidia's next-generation Blackwell GPUs.

Build Your Own Reasoning Model: A Full Video Course

Khóa học video kéo dài 11 giờ tập trung vào việc xây dựng model reasoning với Python và PyTorch. Nội dung bao gồm các kỹ thuật advanced như evaluation, inference-time scaling, reinforcement learning và distillation. Qua khóa học, bạn sẽ học cách tối ưu hiệu suất của các reasoning model hiện đại. Các bài thực hành code chi tiết giúp hiểu sâu về quy trình training và fine-tuning. Giá trị lớn nhất nằm ở việc kết hợp lý thuyết với thực hành để xây dựng được hệ thống AI có khả năng reasoning mạnh mẽ.

Lập trình viên muốn nâng cấp kiến thức về mô hình học máy từ cơ bản đến ứng dụng thực tế—đặc biệt là trong scaling mô hình, reinforcement learning, và distillation—để áp dụng ngay trong dự án AI của mình với Python và PyTorch.

Why Other Requests Change Your LLM’s Output

+ an update on Harness Engineering 2.0.

What Is Model Distillation? A Guide for Developers

Model distillation là quy trình chuyển giao kiến thức từ model lớn (teacher) sang model nhỏ hơn (student) để giữ hiệu suất nhưng giảm tài nguyên. Quá trình này sử dụng hàm loss function như knowledge distillation loss để điều chỉnh student model học từ teacher model. Ví dụ, model distillation có thể giảm kích thước model từ 1.2 tỷ parameter xuống chỉ 120 triệu parameter nhưng vẫn giữ 95% accuracy. Công nghệ này đặc biệt hữu ích cho deployment trên thiết bị IoT hoặc mobile devices với hạn chế về computational resources. Điều đáng học là cách kiến thức có thể được "nén" mà không làm mất nhiều thông tin, giúp tối ưu hóa inference time và energy consumption.

Tìm hiểu về Model Distillation giúp các lập trình viên tối ưu hóa hiệu năng mô hình học máy một cách hiệu quả.