Your Agent Setup will Probably Fail in Production. Here is How to Avoid it.

Compare Against the Schema They Shipped, Not the One You Expected

Khi kiểm thử mô hình AI, nhóm phát triển sử dụng một harness tự động để xác nhận các đối số mà mô hình trả về. Harness này so sánh dữ liệu thực tế với một schema mà đội ngũ mong đợi, thay vì schema mà mô hình đã được triển khai thực tế. Do sự chênh lệch này, harness báo lỗi liên tục dù mô hình hoạt động đúng theo phiên bản đã ship, gây mất thời gian debug và giảm niềm tin vào công cụ kiểm thử. Bài học là luôn kiểm tra output so sánh với schema thực tế mà mô hình đã được phát hành, dựa trên tài liệu hoặc phiên bản artifact đã deploy. Việc áp dụng nguyên tắc này giúp giảm false positive trong quá trình testing và tăng độ tin cậy của pipeline CI/CD cho các dự án AI open-source.

Bài viết giúp bạn hiểu cách kiểm tra API chính xác bằng cách so sánh với schema thực tế thay vì schema dự kiến để phát hiện lỗi bảo mật sớm.