Multi-token Residual Prediction

“Bring it to our shop”: Workday’s pitch for keeping AI agents close to your most valuable data

Workday đề xuất giữ các AI agent gần dữ liệu quan trọng nhất bằng cách nhúng các rào cản an toàn (như danh tính người dùng, quyền ngân sách) trực tiếp vào lớp inference, thay vì sử dụng cổng agent bên ngoài. Tại DevCon 2026, Workday giới thiệu các công cụ Agent-Ready Tools (dựa trên MCP), Developer Agent (xây dựng ứng dụng bằng ngôn ngữ tự nhiên) và Agent Passport (xác thực, giám sát agent trong sản xuất), nhằm nhấn mạnh lợi thế cạnh tranh về kiểm soát inference, độ an toàn và tin cậy thay vì công cụ phát triển.

Lập trình viên nên đọc bài này để hiểu cách các công ty như Workday xây dựng hệ sinh thái AI an toàn và hiệu quả, đặc biệt là cách triển khai các guardrails trong layer xử lý logic thay vì phụ thuộc vào các gateway bên ngoài, giúp bảo vệ dữ liệu nhạy cảm trong ứng dụng doanh nghiệp.

Nvidia rival Etched raises $800M with backing from Jane Street and a TSMC-linked fund

AI chip startup Etched has raised $800M in total funding, with backers including trading firm Jane Street and TSMC-linked VentureTech Alliance. The company, founded in 2022 by Harvard dropouts, has signed $1B in sales contracts and plans to ship its Sohu chip this summer. Sohu is purpose-built for transformer model inference, embedding the architecture directly into silicon rather than repurposing general-purpose GPUs. Etched also designed its full server rack — including cooling and networking — a first among chip startups. Notable investors include Geoffrey Hinton, Fei-Fei Li, and Stanley Druckenmiller. The inference chip market is seeing massive capital inflows as the industry shifts from training to running AI models at scale.

Announcing our $800M Series C to accelerate the shift to open-source AI

Together AI has raised $800M in Series C funding from investors including NVIDIA, Aramco Ventures, Vista Equity, and General Catalyst, plus commitments for over 500 MW of compute capacity. The company argues that closed frontier LLMs become economically unsustainable at production scale, while open-weights models like DeepSeek and Nemotron deliver 6x–20x cost reductions. Together AI positions itself as a full-stack open-source AI platform covering inference, training, and accelerated compute, and highlights recent research output including FlashAttention-4 for NVIDIA Blackwell and Together Megakernel.

Continuous Batching vs. Static Batching in LLM Inference

A deep dive into static vs. continuous batching for LLM inference servers. Static batching groups requests into fixed batches and waits for all to complete, wasting GPU cycles when request lengths vary. Continuous batching uses iteration-level scheduling to eject finished requests and admit new ones immediately, keeping GPU utilization high. The post explains prefill vs. decode phases, how vLLM implements continuous batching alongside PagedAttention for efficient KV cache memory management, and how Hugging Face TGI (now in maintenance mode) compares. Practical guidance covers when each approach fits best: static for predictable offline workloads, continuous for online multi-user APIs and chatbots.

How NVIDIA’s Inference Software Stack Powers the Lowest Token Cost

NVIDIA's full-stack inference software, codesigned with its GPU and networking hardware, is enabling companies like Baseten, Cognition, Deep Infra, Together AI, and Cursor to dramatically reduce cost per token in production AI workloads. On the Blackwell platform, the stack has cut token costs by up to 5x for DeepSeek V4 within a month. The stack operates across three layers — production orchestration, application acceleration, and infrastructure access — and when combined, techniques like disaggregated serving, NVFP4 precision, and multi-token prediction compound to deliver up to 20x throughput gains. The open source ecosystem, particularly PyTorch and CUDA-native frameworks like vLLM and SGLang, accelerates this further by enabling day-zero deployment of new frontier models on Blackwell hardware.

Persistent Latent Memory for Multi-Hop LLM Agents: How a 6G Handover Paper Closes the Agent Cold-Start

Bài viết giới thiệu ILCP-for-agents, một mô hình nén trạng thái ẩn (hidden state) của sender thành latent payload nhỏ qua β-VAE, vận chuyển qua ranh giới agent và tái tạo thành K token bộ nhớ cho receiver. Phương pháp này kế thừa từ nghiên cứu handover 6G (ILCP, ICML 2026) giúp giảm handover lặp (0% so với 6.5%) và cải thiện độ chính xác lên đến +13.3 điểm phần trăm.

Lập trình viên muốn tối ưu hóa hiệu suất của các hệ thống AI multi-hop agent cần đọc bài này để khám phá cách áp dụng latent memory để giảm chi phí token và cải thiện độ chính xác khi chuyển giao thông tin giữa các bộ phận.

Ahmad Osman on why local AI is catching up

Ahmad Osman, nhà sáng lập Osmantic, cho rằng AI cục bộ đang nhanh chóng thu hẹp khoảng cách với các mô hình tiên tiến dựa trên cloud. Ông nhấn mạnh rằng việc chạy AI cục bộ không chỉ phụ thuộc vào mô hình mà còn cần cả hệ thống hạ tầng đầy đủ như search, tools và agent harnesses. Osman dự đoán các mô hình nhỏ, chuyên biệt fine-tuned trên dữ liệu doanh nghiệp sẽ trở thành xu hướng chủ đạo, trong khi các phòng thí nghiệm mô hình open source sẽ kiếm doanh thu thông qua cấp phép fine-tuning và triển khai chuyên biệt.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ cloud sang AI địa phương sẽ giúp tối ưu hóa hiệu suất, bảo mật và chi phí cho ứng dụng của họ trong tương lai.