Behind SPFx Dev Skills: testing what agents know and fixing what they miss

Bài viết mô tả việc nghiên cứu mức độ hướng dẫn cần thiết cho một AI coding agent khi làm việc với SharePoint Framework (SPFx). Đội ngũ thu thập dữ liệu đánh giá từ các lần thử code để xác định những khoảng trống kiến thức cụ thể mà agent thường bỏ qua. Bằng cách tập trung cung cấp prompt hoặc ví dụ chỉ cho những điểm yếu này, họ nâng tỷ lệ thành công của agent mà không phải tiêu tốn token trên những kiến thức mà model đã maîtrisé. Kết quả cho thấy sự cải thiện đáng kể về độ chính xác và hiệu suất, đồng thời giảm lượng token tiêu thụ trong mỗi yêu cầu. Bài học chính là việc sử dụng dữ liệu đánh giá có mục tiêu để tinh chỉnh hướng dẫn cho agent, giúp tối ưu chi phí computing mà vẫn đạt chất lượng code mong muốn.