Karpenter Is Free. Here’s What You Actually Pay For at Scale

How monday.com Runs Agent Evals Against Real Dependencies: Webinar Recap

monday.com thực hiện đánh giá agent (agent eval) trên staging cluster thực thay vì sử dụng mocks, giúp kết nối với các dependency thực thông qua công cụ mirrord mà không cần môi trường đánh giá riêng. Phương pháp này giúp họ loại bỏ được các hạn chế của mock khi mô phỏng behavior thực tế. Mirrord cho phép agent trong môi trường staging intercept và forward các request đến dependency production, đảm bảo kết quả đánh giá chính xác hơn nhiều. Họ tiết lộ rằng cách tiếp cận này giúp phát hiện được các vấn đề mà mock không thể bắt được, đặc biệt là các race conditions và vấn đề network latency. Điều này cho thấy các tổ chức nên cân nhắc sử dụng các giải pháp như mirrord thay vì đầu tư vào hệ thống đánh giá phức tạp với mock environment riêng biệt.