However to prevention a coloured JPG representation to the Milvus database?

Your Agent’s Memory Is a Liability: Defending Against Context Poisoning in Persistent AI Systems

Bối cảnh của bài viết là vấn đề context poisoning trong các hệ thống AI persistent như RAG agents và chatbots, nơi kẻ tấn công có thể inject độc hại vào database. Nguyên nhân kỹ thuật là hệ thống lưu trữ các đoạn hội thoại bị nhiễm độc và tái sử dụng chúng trong các phiên sau, với một nghiên cứu chỉ ra 89% RAG agents và 75% chatbots bị ảnh hưởng. Hệ quả là an ninh của AI system bị xâm phạm nghiêm trọng, dữ liệu người dùng có thể bị rò rỉ và tin tặc có thể thao túng phản hồi. Điều đáng học là việc sử dụng các kỹ thuật như memory scrubbing, context isolation và checksum để phát hiện và ngăn chặn các cuộc tấn công context poisoning, đồng thời cần thiết lập các protocol bảo mật tương tự như phần mềm truyền thống.