Continuous Batching vs. Static Batching in LLM Inference

“Bring it to our shop”: Workday’s pitch for keeping AI agents close to your most valuable data

Workday đề xuất giữ các AI agent gần dữ liệu quan trọng nhất bằng cách nhúng các rào cản an toàn (như danh tính người dùng, quyền ngân sách) trực tiếp vào lớp inference, thay vì sử dụng cổng agent bên ngoài. Tại DevCon 2026, Workday giới thiệu các công cụ Agent-Ready Tools (dựa trên MCP), Developer Agent (xây dựng ứng dụng bằng ngôn ngữ tự nhiên) và Agent Passport (xác thực, giám sát agent trong sản xuất), nhằm nhấn mạnh lợi thế cạnh tranh về kiểm soát inference, độ an toàn và tin cậy thay vì công cụ phát triển.

Lập trình viên nên đọc bài này để hiểu cách các công ty như Workday xây dựng hệ sinh thái AI an toàn và hiệu quả, đặc biệt là cách triển khai các guardrails trong layer xử lý logic thay vì phụ thuộc vào các gateway bên ngoài, giúp bảo vệ dữ liệu nhạy cảm trong ứng dụng doanh nghiệp.

Nvidia rival Etched raises $800M with backing from Jane Street and a TSMC-linked fund

AI chip startup Etched has raised $800M in total funding, with backers including trading firm Jane Street and TSMC-linked VentureTech Alliance. The company, founded in 2022 by Harvard dropouts, has signed $1B in sales contracts and plans to ship its Sohu chip this summer. Sohu is purpose-built for transformer model inference, embedding the architecture directly into silicon rather than repurposing general-purpose GPUs. Etched also designed its full server rack — including cooling and networking — a first among chip startups. Notable investors include Geoffrey Hinton, Fei-Fei Li, and Stanley Druckenmiller. The inference chip market is seeing massive capital inflows as the industry shifts from training to running AI models at scale.

Engineering TTS Inference in vLLM-Omni

Đội kỹ thuật vLLM-Omni tối ưu hóa suy luận TTS cho bốn mô hình bằng cách tách rời kích thước chunk streaming khỏi cửa sổ decode, biên dịch toàn bộ mô hình bằng torch.compile, di chuyển trạng thái decode multi-codebook lên GPU, và sử dụng các kernel Triton tùy chỉnh. Kết quả đạt được cải thiện throughput 61,5% cho Qwen3-TTS, 172% cho VoxCPM2 và tăng tốc 2,7 lần cho Higgs Audio V3. Bài viết cũng đề cập những thiết kế bị loại bỏ như PIECEWISE CUDA Graph do không hiệu quả bằng eager plus local MLP graph.

Lập trình viên muốn tối ưu hóa hệ thống xử lý âm thanh hoặc phát triển các ứng dụng AI âm thanh phải tham khảo để học cách tối ưu hóa hiệu suất inference bằng cách áp dụng kiến trúc và kỹ thuật cụ thể như torch.compile, GPU-resident tensors, và attention kernels hiệu quả.

Micro-Agent: Beat Frontier Models with Collaboration inside Model API

vLLM Semantic Router giới thiệu runtime micro-agent 'looper' biến cuộc gọi API đơn thành cộng tác đa mô hình giới hạn ngay tại lớp phục vụ. Router này tự động điều phối các mô hình theo nhiều mẫu (Confidence, Ratings, ReMoM, Fusion, Workflows) dựa trên độ khó tác vụ, rủi ro và yêu cầu đầu ra, trong khi vẫn duy trì giao diện OpenAI-compatible duy nhất (vllm-sr/auto). Kết quả benchmark cho thấy cách tiếp cận này vượt trội hoặc ngang bằng các mô hình đơn tiên tiến trên LiveCodeBench, GPQA-Diamond và Humanity's Last Exam, đánh bại cả Sakana Fugu Ultra và GPT-5.5 ở nhiều tác vụ.

Lập trình viên muốn tối ưu hóa hiệu suất và khả năng mở rộng của ứng dụng AI của mình bằng cách áp dụng các mô hình hợp tác nhỏ hiệu quả hơn các mô hình lớn hiện tại.

Deploying distributed AI inference: Blueprints & troubleshooting

A practical guide to deploying distributed AI inference using vLLM and llm-d across six traffic-shaped blueprints: high-concurrency chat, long-context RAG, high-throughput batch, distributed AI-grid (Model-as-a-Service), hybrid sovereign-to-cloud-burst, and edge inference on workstation GPUs. Each blueprint covers workload signature, topology, key mechanisms (prefill/decode disaggregation, KV-cache tiering, speculative decoding, model cascading), and cost shape. The post also provides inference troubleshooting recipes for TTFT/TPOT regressions using vLLM Prometheus metrics and NVIDIA Nsight tools, and closes with a four-step scaling roadmap from a single vLLM instance to a full distributed AI grid on Red Hat OpenShift AI.

How NVIDIA’s Inference Software Stack Powers the Lowest Token Cost

NVIDIA's full-stack inference software, codesigned with its GPU and networking hardware, is enabling companies like Baseten, Cognition, Deep Infra, Together AI, and Cursor to dramatically reduce cost per token in production AI workloads. On the Blackwell platform, the stack has cut token costs by up to 5x for DeepSeek V4 within a month. The stack operates across three layers — production orchestration, application acceleration, and infrastructure access — and when combined, techniques like disaggregated serving, NVFP4 precision, and multi-token prediction compound to deliver up to 20x throughput gains. The open source ecosystem, particularly PyTorch and CUDA-native frameworks like vLLM and SGLang, accelerates this further by enabling day-zero deployment of new frontier models on Blackwell hardware.

Deploy secure agentic AI: Protocols and performance tuning

The final part of a four-part series on building a conversational analyst with Red Hat OpenShift AI and EnterpriseDB covers three main areas. First, it explains how the Model Context Protocol (MCP) extends JSON-RPC 2.0 to standardize tool integration between orchestrators and LLM servers, including initialization handshakes and tool description formats. Second, it details the server-sent events (SSE) streaming architecture that keeps users informed of agentic loop progress in real time. Third, it covers security practices for stochastic reasoning engines — including MCP tool registration enforcement, deep SQL syntax parsing with pglast, read-only database users, pod-level security constraints, and resource limits. Performance tuning topics include LLM temperature settings, Min-P sampling, prompt engineering techniques, vLLM continuous batching, and context length management for long agentic conversations.