AWS raises AgentCore runtime quotas by up to 5x to help enterprises scale AI agents

AWS has increased Amazon Bedrock AgentCore runtime quotas by up to 5x, raising concurrent session limits to 5,000 in primary US regions and 2,500 elsewhere. Token throughput per agent jumped from 25 to 200 tokens per second across all regions, and container session creation rates quadrupled from 100 to 400 TPM. The changes aim to reduce operational friction for enterprises moving AI agents from pilot to production, eliminating the need for manual quota increase requests. Analysts note that stateful agent sessions are particularly vulnerable to throttling, as mid-task interruptions can cause context loss and stall entire multi-agent pipelines. Microsoft Azure takes a different architectural approach, keeping agent runtime limits fixed while offering flexibility at the model deployment layer.

Nguồn: https://www.infoworld.com/article/4192220/aws-raises-agentcore-runtime-quotas-by-up-to-5x-to-help-enterprises-scale-ai-agents.html. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Medium1 Hot8 phút58 phút trướcAI

How We Built DEmate: Taming LLMs for Data Engineering at Meta

Meta xây dựng DEmate, trợ lý AI chuyên biệt cho nền tảng data engineering nội bộ, thay thế các LLM tổng quát không hiểu các công cụ, SQL macros hay UDFs riêng. Hệ thống sử dụng kiến trúc "Recipe" gồm 4 giai đoạn (lựa chọn, tiêm ngữ cảnh, sinh code, kiểm định) với ~70 recipes DE, kết hợp chaining và disclosure để giảm lỗi ảo giác. DEmate triển khai trên IDE, giao diện SQL và công cụ quản lý task, đạt 3.500 người dùng hàng tuần và tỷ lệ chấp nhận code 80% sau 5 tháng.

Lập trình viên data cần đọc để hiểu cách xây dựng một công cụ AI chuyên biệt hóa cho stack riêng biệt, từ đó áp dụng kiến thức về recipe architecture và code review AI để tối ưu hóa hiệu suất và chất lượng trong công việc xử lý dữ liệu của riêng mình.