Inside the vLLM-Omni architecture: Serving Qwen3-Omni

AI inference is obviously profitable

Phân tích chi phí sơ lược cho thấy suy luận (inference) AI thực sự sinh lời, với chi phí ước tính khoảng 1 USD cho mỗi triệu token đầu ra, thấp hơn nhiều so với mức giá 4,5 USD trở lên của các nhà cung cấp như OpenAI, qua đó đạt biên lợi nhuận gộp 70–80%. Suy luận AI có lợi nhuận, nhưng các phòng thí nghiệm AI như OpenAI và Anthropic sử dụng khoản lợi nhuận này để bù đắp chi phí đào tạo mô hình tốn kém.

Là người phát triển muốn tối ưu chi phí cho ứng dụng AI của mình, bài viết này giúp bạn hiểu rõ về lợi nhuận thực tế của quá trình inference AI, từ đó có thể xây dựng mô hình kinh doanh hiệu quả và tránh bỏ lỡ cơ hội tiết kiệm chi phí mà không phụ thuộc vào sự hỗ trợ từ các công ty lớn.

“Bring it to our shop”: Workday’s pitch for keeping AI agents close to your most valuable data

Workday đề xuất giữ các AI agent gần dữ liệu quan trọng nhất bằng cách nhúng các rào cản an toàn (như danh tính người dùng, quyền ngân sách) trực tiếp vào lớp inference, thay vì sử dụng cổng agent bên ngoài. Tại DevCon 2026, Workday giới thiệu các công cụ Agent-Ready Tools (dựa trên MCP), Developer Agent (xây dựng ứng dụng bằng ngôn ngữ tự nhiên) và Agent Passport (xác thực, giám sát agent trong sản xuất), nhằm nhấn mạnh lợi thế cạnh tranh về kiểm soát inference, độ an toàn và tin cậy thay vì công cụ phát triển.

Lập trình viên nên đọc bài này để hiểu cách các công ty như Workday xây dựng hệ sinh thái AI an toàn và hiệu quả, đặc biệt là cách triển khai các guardrails trong layer xử lý logic thay vì phụ thuộc vào các gateway bên ngoài, giúp bảo vệ dữ liệu nhạy cảm trong ứng dụng doanh nghiệp.

Engineering TTS Inference in vLLM-Omni

Đội kỹ thuật vLLM-Omni tối ưu hóa suy luận TTS cho bốn mô hình bằng cách tách rời kích thước chunk streaming khỏi cửa sổ decode, biên dịch toàn bộ mô hình bằng torch.compile, di chuyển trạng thái decode multi-codebook lên GPU, và sử dụng các kernel Triton tùy chỉnh. Kết quả đạt được cải thiện throughput 61,5% cho Qwen3-TTS, 172% cho VoxCPM2 và tăng tốc 2,7 lần cho Higgs Audio V3. Bài viết cũng đề cập những thiết kế bị loại bỏ như PIECEWISE CUDA Graph do không hiệu quả bằng eager plus local MLP graph.

Lập trình viên muốn tối ưu hóa hệ thống xử lý âm thanh hoặc phát triển các ứng dụng AI âm thanh phải tham khảo để học cách tối ưu hóa hiệu suất inference bằng cách áp dụng kiến trúc và kỹ thuật cụ thể như torch.compile, GPU-resident tensors, và attention kernels hiệu quả.

Deploy secure agentic AI: Protocols and performance tuning

The final part of a four-part series on building a conversational analyst with Red Hat OpenShift AI and EnterpriseDB covers three main areas. First, it explains how the Model Context Protocol (MCP) extends JSON-RPC 2.0 to standardize tool integration between orchestrators and LLM servers, including initialization handshakes and tool description formats. Second, it details the server-sent events (SSE) streaming architecture that keeps users informed of agentic loop progress in real time. Third, it covers security practices for stochastic reasoning engines — including MCP tool registration enforcement, deep SQL syntax parsing with pglast, read-only database users, pod-level security constraints, and resource limits. Performance tuning topics include LLM temperature settings, Min-P sampling, prompt engineering techniques, vLLM continuous batching, and context length management for long agentic conversations.

Nvidia rival Etched raises $800M with backing from Jane Street and a TSMC-linked fund

AI chip startup Etched has raised $800M in total funding, with backers including trading firm Jane Street and TSMC-linked VentureTech Alliance. The company, founded in 2022 by Harvard dropouts, has signed $1B in sales contracts and plans to ship its Sohu chip this summer. Sohu is purpose-built for transformer model inference, embedding the architecture directly into silicon rather than repurposing general-purpose GPUs. Etched also designed its full server rack — including cooling and networking — a first among chip startups. Notable investors include Geoffrey Hinton, Fei-Fei Li, and Stanley Druckenmiller. The inference chip market is seeing massive capital inflows as the industry shifts from training to running AI models at scale.

How NVIDIA’s Inference Software Stack Powers the Lowest Token Cost

NVIDIA's full-stack inference software, codesigned with its GPU and networking hardware, is enabling companies like Baseten, Cognition, Deep Infra, Together AI, and Cursor to dramatically reduce cost per token in production AI workloads. On the Blackwell platform, the stack has cut token costs by up to 5x for DeepSeek V4 within a month. The stack operates across three layers — production orchestration, application acceleration, and infrastructure access — and when combined, techniques like disaggregated serving, NVFP4 precision, and multi-token prediction compound to deliver up to 20x throughput gains. The open source ecosystem, particularly PyTorch and CUDA-native frameworks like vLLM and SGLang, accelerates this further by enabling day-zero deployment of new frontier models on Blackwell hardware.

Ahmad Osman on why local AI is catching up

Ahmad Osman, nhà sáng lập Osmantic, cho rằng AI cục bộ đang nhanh chóng thu hẹp khoảng cách với các mô hình tiên tiến dựa trên cloud. Ông nhấn mạnh rằng việc chạy AI cục bộ không chỉ phụ thuộc vào mô hình mà còn cần cả hệ thống hạ tầng đầy đủ như search, tools và agent harnesses. Osman dự đoán các mô hình nhỏ, chuyên biệt fine-tuned trên dữ liệu doanh nghiệp sẽ trở thành xu hướng chủ đạo, trong khi các phòng thí nghiệm mô hình open source sẽ kiếm doanh thu thông qua cấp phép fine-tuning và triển khai chuyên biệt.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ cloud sang AI địa phương sẽ giúp tối ưu hóa hiệu suất, bảo mật và chi phí cho ứng dụng của họ trong tương lai.