How we cut AI costs by 80%

A sponsored experiment by Port shows that pre-integrating enterprise data into a unified 'context lake' reduces AI agent token costs by up to 80% compared to connecting agents directly to multiple MCP servers. The test ran 12,000 queries across four conditions and three Claude models (Haiku, Sonnet, Opus). Key findings: a context lake alone cuts costs ~58%, and adding a skill file (a routing table mapping query types to catalog fields) brings savings to ~80%. Counterintuitively, adding a skill file to raw MCP access made costs 13–24% worse, as agents followed it as a checklist rather than reasoning efficiently. The efficiency comes from pre-joined data (services already linked to their team, repo, PagerDuty, and Jira) and pre-computed aggregations, shifting relational reasoning from inference time to ingestion time. The post argues platform engineering teams should own context management as a budgeted resource.

Nguồn: https://thenewstack.io/how-cut-ai-costs. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Weaviate18 phút10 giờ trướcAI

Weaviate 1.38 Release

Weaviate 1.38 ra mắt với các tính năng mới như HFresh (chỉ số vector dựa trên đĩa, tối ưu bộ nhớ cho streaming) và MCP Server tích hợp cho phép LLMs tương tác trực tiếp. Bản cập nhật cũng bổ sung async replication mặc định, Boost API (tái xếp hạng truy vấn), nested object filtering, cùng nhiều cải tiến khác như quản lý replica, cấu hình chỉ số vector, và module text2vec-digitalocean.

Lập trình viên phát triển ứng dụng AI hoặc hệ thống vector search cần đọc để cập nhật về MCP Server và Boost API, giúp tối ưu hóa giao tiếp trực tiếp giữa LLM với cơ sở dữ liệu vector và cải thiện hiệu suất tìm kiếm bằng cách xếp hạng kết quả một cách linh hoạt mà không mất bất kỳ dữ liệu nào.

#mcp