I fed my entire Obsidian vault into a local LLM, and now it actually understands my research

How we eliminated $1 million a year of wasted AI agent spend in one hour

Nhóm phát hiện rằng hệ thống AI agent của họ đang chạy liên tục trên các instance cloud mà không có chính sách giảm quy mô khi tải trọng thấp, gây ra chi phí compute không cần thiết khoảng 1 triệu USD mỗi năm. Nguyên nhân kỹ thuật là thiếu cấu hình autoscaling và idle timeout cho các worker chạy agent, khiến chúng tiêu thụ GPU/CPU ngay cả khi không có request nào. Sau khi chỉnh sửa chính sách scaling và thêm giới hạn thời gian nghỉ idle trong vòng một giờ, chi phí hàng năm giảm ngay mức đó. Kết quả là tiết kiệm đáng kể mà không ảnh hưởng đến khả năng phản hồi của agent. Điều này cho thấy việc áp dụng giám sát chi phí và chính sách scaling tự động là cần thiết cho các dịch vụ AI dựa trên agent.

Bài tiết kiệm một triệu đô la chi phí lãng phí cho AI agent chỉ trong một giờ mà không cần nhiều kỹ thuật phức tạp.