Benchmarking tiered KV cache offloading on H100 GPUs in OpenShift AI 3.5

Distributed LLM Inference on Kubernetes with llm-d, Wasm, & TornadoVM

Edoardo Vacchi covers the evolving landscape of WebAssembly on the backend, running Java workloads on GPUs using TornadoVM, and optimizing distributed AI inference using llm-d and vLLM on Kubernetes.

Why Other Requests Change Your LLM’s Output

+ an update on Harness Engineering 2.0.

6 KV Cache Quantization Approaches

Bối cảnh về KV Cache Quantization trở nên quan trọng khi inference model lớn như GPT-3 cần xử lý hàng tỷ parameters. Nguyên nhân kỹ thuật là do KV Cache chiếm tới 40% bộ nhớ VRAM, tạo ra bottleneck đáng kể cho các inference server. Hệ quả rõ ràng là việc lượng hóa KV Cache giúp giảm 50-70% bộ nhớ sử dụng và tăng tốc inference đến 30%. Điều đáng học là 6 phương pháp lượng hóa KV Cache từ các nghiên cứu gần đây của NVIDIA và Google Research đều có trade-off giữa độ chính xác và hiệu suất, tùy thuộc vào hardware support cụ thể.

Cách tiếp cận KV Cache Quantization được minh họa trực quan giúp lập trình viên hiểu và tối ưu hiệu năng mô hình ngôn ngữ.

How Netflix Taught an LLM to Recommend Movies So That You Keep Watching

Netflix đã phát triển hệ thống GenRec để tăng thời gian xem phim của người dùng. Họ huấn luyện Large Language Model (LLM) trên dữ liệu tương tác người dùng với nội dung, sử dụng phương pháp transfer learning từ các mô hình ngôn ngữ lớn. Kết quả là hệ thống có khả năng đề xuất phim cá nhân hóa với độ chính xác cao hơn 23% so với phương pháp traditional collaborative filtering. Điều này cho thấy tiềm năng ứng dụng LLM trong lĩnh vực recommendation systems không chỉ giải trí mà còn có thể mở rộng sang các dịch vụ streaming khác.

Bài viết này giải thích cách Netflix xây dựng hệ thống đề xuất phim GenRec để giữ chân người xem qua công nghệ LLM tiên tiến.

Why Temperature 0 Isn't Deterministic in LLM Inference

Trong quá trình inference của LLM, temperature 0 không hoàn toàn quyết định như nhiều người vẫn nghĩ. Nguyên nhân kỹ thuật nằm ở cách thuật toán softmax hoạt động khi temperature bằng 0, làm cho xác suất của từ với highest score tiến tới 1 nhưng không bao giờ đạt hoàn toàn 1 trong thực tế. Điều này dẫn đến kết quả có vẻ ngẫu nhiên dù xác suất đã được chuẩn hóa, gây ra sự không chắc chắn nhỏ trong kết quả output. Điều đáng học là việc hiểu behavior của temperature trong LLM không đơn giản như tưởng tượng, đòi hỏi hiểu biết sâu về cách hoạt động của softmax và quy trình sampling text generation.

Bạn nên đọc bài này để hiểu cách giải quyết một vấn đề cơ bản nhưng thường bị nhầm lẫn trong việc phân tích và tối ưu hóa mô hình ngôn ngữ lớn, giúp tránh sai lầm trong việc thiết kế và triển khai hệ thống AI.

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

Các ứng dụng thực tế với SLMs (Small Language Models) thường tốn kém do kích thước từ vựng lớn. Một nghiên cứu mới phát hiện ra việc chuyên môn hóa (specializing) từ vựng cho từng domain cụ thể có thể giảm 77% chi phí inference. Phương pháp này sử dụng kỹ thuật vocabulary partitioning kết hợp với model compression trên dataset Wikipedia, cho thấy hiệu quả rõ rệt. Lập trình viên nên cân nhắc tiếp cận này nếu đang xây dựng ứng dụng SLM cho lĩnh vực chuyên biệt, vì nó vừa giảm chi phí vừa giữ được hiệu suất mô hình.

Những người phát triển LangChain hoặc các dự án AI logic sẽ tìm hiểu cách tối ưu hóa từ vựng của mô hình ngôn ngữ lớn để giảm chi phí tính toán trong ứng dụng thực tế.

Faster LLM inference startup: What you need to know

Adding an inference replica creates capacity only after the new instance can serve requests. Between starting a process and generating a response…

Fixing Tool-Call Accuracy in vLLM

Độ chính xác của tool call rất quan trọng khi triển khai mô hình AI open-source, vì lỗi này làm tích lũy ngữ nghĩa vô nghĩa trong hệ thống. Trước đây, team đã phải duy trì một fork riêng của vLLM để đạt 100% độ chính xác schema accuracy với các mô hình Kimi và DeepSeek. May mắn là vLLM 0.31 đã hỗ trợ constrained decoding - một kỹ thuật đảm bảo tuân thủ schema. Với tính năng mới này, người dùng có thể đạt 100% schema accuracy mà không cần fork cho các phiên bản Kimi và DeepSeek mới hơn. Đây là bài học về tầm quan trọng của việc cập nhật phiên bản thư viện để tận dụng các cải tiến kỹ thuật.

Bài viết giải thích cách sử dụng constrained decoding trong vLLM 0.31 để đạt độ chính xác 100% trong các cuộc gọi API với mô hình Kimi và DeepSeek.