#prompt-injection

Gemini 3.5 Flash can now see and control your screen, and Google wants enterprises to trust it

Google tích hợp khả năng xem và điều khiển màn hình (screen-seeing & control) trực tiếp vào Gemini 3.5 Flash, thay thế mô hình tách biệt trước đây, nhằm phục vụ tự động hóa doanh nghiệp như kiểm thử phần mềm liên tục hay tác vụ trình duyệt đa bước. Tính năng này đi kèm các biện pháp an toàn tùy chọn như xác nhận người dùng trước hành động nhạy cảm hay dừng tự động khi phát hiện prompt injection, nhưng Google thừa nhận không có giải pháp bảo mật nào là hoàn hảo. Động thái này cạnh tranh trực tiếp với các sản phẩm tương tự của Anthropic (Claude Computer Use) và OpenAI, trong đó câu chuyện an toàn cho doanh nghiệp là điểm khác biệt chính.

Lập trình viên nên đọc để hiểu cách Gemini 3.5 Flash mở rộng khả năng tự động hóa công việc phát triển, từ kiểm thử liên tục đến điều khiển giao diện người dùng, giúp tiết kiệm thời gian và tăng hiệu suất trong các dự án doanh nghiệp.

Agent Containment: Definition, Risks, and Techniques

Agent containment is the practice of placing hard, enforceable limits on what AI agents can access and do, so that when an agent is misused, manipulated, or wrong, the damage stays bounded. Unlike traditional security controls built for human actors, agent containment must handle machine-speed actions, non-human identities with credential sprawl, multi-agent delegation chains, and prompt injection attacks. Key risks include tool misuse, capability-intent mismatch, ambient authority leakage, and unbounded autonomy. Core techniques include tool permissioning with deny-by-default, network egress controls, API gateway architectures that keep backend credentials out of agent reach, and memory containment with session-scoped expiry. Best practices emphasize least privilege, zero standing privilege, runtime enforcement, centralized policy via an AI gateway, and immutable audit logs with regular red-team drills. The post draws heavily on Anthropic's published findings about Claude containment, including a phishing exercise that exfiltrated AWS credentials in 24 of 25 attempts.

Schneier on Security

Một nghiên cứu chỉ ra LLMs dễ bị tấn công prompt injection vì chúng học cách nhận diện phong cách văn bản trong các khối vai/trình thay vì dựa vào thẻ vai (role tags). Các tác giả cho rằng thẻ vai vốn chỉ là quy ước định dạng nhưng vô tình trở thành kiến trúc bảo mật, trong khi mô hình không thực sự hiểu vai trò theo cách này. Họ kết luận rằng nếu không có nhận thức vai trò rõ ràng, các biện pháp phòng thủ sẽ chỉ phản ứng theo kiểu "bắt chước cóc".

Những kiến thức về cách các mô hình ngôn ngữ lớn bị lỗ hổng prompt injection sẽ giúp lập trình viên hiểu rõ hơn về các rủi ro thực tế trong thiết kế hệ thống AI, từ đó cải thiện an toàn và bảo mật cho các ứng dụng của họ.

How to Build Production-Grade AI Guardrails for Enterprise Applications: A Practical Guide

A practical guide to building multi-layered AI guardrail systems for enterprise LLM applications, based on real-world experience deploying an internal RAG assistant. Covers three defensive layers: input validation using regex and keyword blocking to stop prompt injection, role-based document retrieval filtering to prevent unauthorized data access, and output validation to redact sensitive data and detect hallucinations. Includes Python code for each layer and lessons learned about latency, logging, and why security must never rely on system prompts alone.

Schneier on Security

A malware developer has been found embedding policy-triggering text about nuclear and biological weapons inside JavaScript comment blocks in spyware. The technique exploits AI-based code analysis pipelines: because some scanners feed file content directly to LLMs without isolating it as untrusted data, the fake instructions can cause refusal behavior, prompt confusion, or premature classification before the scanner reaches the actual malicious code. The trick does not defeat traditional static analysis tools like YARA rules, entropy checks, or AST parsing, but is an effective anti-analysis measure against naive LLM-first triage systems.

macOS.Gaslight | Rust Backdoor Turns Prompt Injection on the Analyst, Not the Sandbox

SentinelLABS has analyzed macOS.Gaslight, a DPRK-linked Rust macOS implant with a novel anti-analysis technique: a 3.5 KB embedded prompt-injection payload containing 38 fabricated 'system' messages designed to mislead LLM-assisted triage pipelines into aborting analysis. Beyond this, the implant features a Telegram Bot API C2 with AES-GCM encryption and certificate pinning, a bot-token self-redaction mechanism, a Python-based credential stealer (harvesting browser data, keychains, and terminal history), LaunchAgent persistence masquerading as an Apple system service, and a runtime-fetched standalone CPython interpreter. The prompt injection is more sophisticated than previously documented examples, using a 38-message harness-spoofing cascade rather than a single injected block. Defenders building LLM-assisted analysis pipelines are warned to treat sample contents as adversarial input.

A fake AI agent skill passed every security scanner and reportedly reached 26,000 agents

Security firm AIR demonstrated a critical blind spot in AI agent skill vetting by publishing a fake skill to a popular marketplace, passing every major scanner including those from Cisco and NVIDIA, and reportedly reaching 26,000 agents. The attack exploited a structural flaw: scanners only analyze the submitted package at a single point in time, while the external URL the skill points to can be swapped post-approval to deliver a malicious payload. AIR initially pointed the link to legitimate Google Stitch documentation, then replaced it with a script-download page after widespread installation. Trail of Bits independently confirmed the same scanner bypass technique weeks earlier. The recommended mitigations include treating skills as software, vetting external links, pinning versions, routing installs through controlled sources, and enforcing least privilege on agents. Note that the 26,000 figure comes solely from AIR, which is launching a competing managed marketplace.