Đang tải bảng tin…
vLLM00 bình luận9 phút đọc
Micro-Agent: Beat Frontier Models with Collaboration inside Model API
vLLM Semantic Router introduces a micro-agent runtime called the 'looper' that turns a single model API call into a bounded multi-model collaboration at the serving layer. Rather than requiring application-level agent graphs, the router itself orchestrates patterns like Confidence (sequential escalation), Ratings (parallel ensemble), ReMoM (mixture-of-model reasoning), Fusion (disagreement-based synthesis), and Workflows (planner/worker/verifier pipelines). The public surface remains a single OpenAI-compatible model name (vllm-sr/auto), while the router selects the appropriate recipe based on task difficulty, risk, and output contract requirements. Benchmark results show this approach matches or exceeds frontier single-model baselines on LiveCodeBench (92.6), GPQA-Diamond (96.0), and Humanity's Last Exam (50.0), beating Sakana Fugu Ultra and GPT-5.5 on several tasks. The core argument is that collaboration should be an open serving primitive, not a commercial endpoint or bespoke app logic.
Nguồn: https://vllm.ai/blog/2026-06-29-micro-agent-frontier-models. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
portkey16 phútAI
Why Every Agent Vulnerability is a Trust Boundary Failure
Mọi lỗ hổng trong agent AI đều là thất bại trong việc thiết lập ranh giới tin cậy (trust boundary), không phải do mô hình hay công cụ. Bài viết phân tích bốn vector tấn công chính: tiêm prompt qua kết quả công cụ, giả mạo danh tính trong cuộc gọi giữa agent, tấn công "bom ngân sách" từ vòng lặp vô tận, và nhiễm độc công cụ qua sự sai lệch của MCP server. Giải pháp đề xuất là áp dụng các kiểm soát hạ tầng như Portkey's Agent Gateway, MCP Registry, LLM Gateway để ngăn chặn hoặc phát hiện các cuộc tấn công này.
Lập trình viên nên đọc bài này để hiểu cách bảo vệ hệ thống AI agent khỏi các lỗ hổng nghiêm trọng không phụ thuộc vào lỗi của mô hình hay công cụ, mà liên quan đến việc thiết lập và kiểm soát biên giới tin cậy—đặc biệt là khi các agent tự quyết định sử dụng các công cụ và giao tiếp với nhau.
