Securing AI agents: Key controls and best practices

Schneier on Security

Các nhà cung cấp LLM hàng đầu như Anthropic, OpenAI và Google hiện trả về các chuỗi suy luận (chain-of-thought) dưới dạng khối dữ liệu được mã hoá cho khách hàng thay vì lưu giữ ở phía máy chủ. Các khối mã hoá này có thể hoán đổi lẫn nhau giữa các phiên, người dùng và mô hình trong cùng một nhà cung cấp, cho phép kẻ tấn công chèn một trace được mã hoá từ mô hình mạnh vào mô hình yếu và buộc mô hình yếu giải mã và xuất ra bản rõ. Kết quả là các nhà nghiên cứu đã trích xuất được suy luận riêng của ba công ty trên, đồng thời thu được 367 artefacts thông tin cá

Nghiên cứu tiết lộ lỗ hổng kiến trúc nghiêm trọng trong bảo vệ chain-of-thought reasoning của các LLM hàng đầu, đe dọa an ninh dữ liệu và quyền riêng tư của người dùng.