The 3× Token Bill We Didn’t See Coming

Khi chuyển từ pipeline LLM đơn tác nhân sang đa tác nhân bằng LangGraph, nhóm phát triển bất ngờ chứng kiến chi phí token tăng gấp ba do "silent retry cascades" – lỗi xác thực ở tác nhân sâu trong hệ thống khiến các tác nhân phía trên chạy lại dù đã xử lý đúng. Giải pháp gồm: phân chia tác nhân theo độ phức tạp mô hình, tối giản ngữ cảnh truyền giữa các tác nhân, và song song hóa nhánh độc lập; kết quả giảm ~40% token và 45–55% độ trễ. Bài học quan trọng là hệ thống đa tác nhân có những rủi ro chi phí không có ở hệ thống đơn tác nhân, đòi hỏi theo dõi chi phí từng bước từ sớm.