How Flawed Prompts Hamstring Powerful Reasoning Models

Researchers from Zhejiang University and Alibaba have demonstrated a new vulnerability in AI reasoning models: deliberately crafted logically inconsistent prompts can trigger excessive 'overthinking,' causing models to generate outputs up to 26 times longer than normal. Using an evolutionary genetic algorithm, the team corrupts the logical structure of math problems by swapping premises, deleting conditions, or mixing questions across problems. This black-box attack requires no access to model internals and works against major commercial models including DeepSeek-R1, Qwen3-Thinking, GPT-o3, and Gemini 2.5 Flash. At scale, this constitutes a denial-of-service vector that could degrade service for legitimate users. The researchers also showed malicious prompts transfer across models, increasing feasibility. The goal is to alert providers to this attack surface so defenses can be developed.

Nguồn: https://spectrum.ieee.org/ai-reasoning-models-security-risk. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

The Palindrome1 Hot7 phút33 phút trướcAI

Why Are You Hearing Less From Me

Một nhà giáo dục toán học và machine learning chia sẻ lý do viết ít hơn, cho rằng nội dung do AI tạo ra đã khiến internet tràn ngập những bài viết nhạt nhẽo, công thức sáo rỗng như thị trấn Pleasantville hư cấu. Thay vì dùng LLM để tự động hóa newsletter, họ ưu tiên chất lượng bằng cách đầu tư vào hoạt hình, hình ảnh tương tác, kỹ thuật âm thanh và huấn luyện giọng nói để tạo ra tác phẩm thực sự mang tính người và kích thích tư duy. Bài viết kêu gọi cả người sáng tạo và độc giả suy ngẫm về vai trò của AI trong sản xuất và tiêu thụ nội dung.

Lập trình viên nên đọc bài này để tìm hiểu cách AI không chỉ thay đổi cách tạo nội dung mà còn định hình lại giá trị của công việc sáng tạo, giúp họ đánh giá lại cách ứng dụng công nghệ để giữ lại chất lượng và ý nghĩa trong công việc của riêng mình.