Đang tải bảng tin…
Tigris1 Hot0 bình luận8 phút đọc
Every Tenant Has a Past: Evaluating LangGraph Agents
Tóm tắt bởi AI
Khi triển khai thay đổi prompt cho agent LangGraph sản xuất, các test fixtures viết tay thường bỏ sót lỗi chỉ xuất hiện với khách hàng có lịch sử hội thoại thực. Bài viết giới thiệu cách xây dựng harness đánh giá bằng cách fork bucket storage Tigris sản xuất (chứa checkpoint agent), tái hiện các phiên hội thoại khách hàng qua cả prompt cũ và mới, rồi dùng LLM judge có hiệu chỉnh vị trí để chấm điểm so sánh — toàn bộ không động chạm dữ liệu live. Điểm mấu chốt là object storage cho phép fork bucket copy-on-write O(1), giúp triển khai môi trường đánh giá theo từng biến thể khả thi, trong khi relational database phải sao chép toàn bộ tốn kém.
Vì sao nên đọc: Lập trình viên phát triển các hệ thống agent multi-tenant sẽ tìm hiểu cách xây dựng hệ thống đánh giá hiệu quả mà không cần phụ thuộc vào dữ liệu thực tế trực tiếp, giúp tiết kiệm chi phí và bảo mật khi kiểm tra các thay đổi prompt trên nhiều kịch bản khách hàng khác nhau.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://www.tigrisdata.com/blog/eval-agents-real-state. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
All Things Distributed1 Hot10 phútAI
A return to two-pizza culture
Werner Vogels cho biết các AI coding agent như Kiro đang thay đổi quy trình phát triển sản phẩm tại Amazon bằng cách rút ngắn thời gian từ ý tưởng đến nguyên mẫu hoạt động, khiến phương pháp "build first, document later" trở nên khả thi. Ông nhấn mạnh vai trò của các nhóm nhỏ (two-pizza teams) với quyền sở hữu toàn diện, phản hồi nhanh và quyết định đảo ngược dễ dàng vẫn là nền tảng cho phát triển sản phẩm nhanh và chất lượng.
Lập trình viên nên đọc bài này để hiểu cách AI và tổ chức nhỏ, tự chủ có thể thay đổi nhanh chóng quy trình phát triển sản phẩm từ lý thuyết sang thực hành trong một thời gian ngắn, giúp tối ưu hóa tốc độ và chất lượng.
