#red-teaming

AI Security Is an Engineering Problem — How to Solve It at Every Layer of the Agent Stack

Trong bối cảnh các hệ thống AI ngày càng trở thành mục tiêu tấn công, vấn đề bảo mật AI cần được tiếp cận như một bài toán kỹ thuật toàn diện. Nguyên nhân kỹ thuật nằm ở việc các agent stack (khoảnh stack) gồm LLM (Large Language Model), planning systems và các công cụ bổ trợ đều có những điểm yếu riêng như prompt injection (tiêm lệnh prompt) hay data poisoning (ngộ độc dữ liệu). Hệ quả là các tổ chức phải đối mặt với rủi ro tấn công RCE (Remote Code Execution), data leakage (rò rỉ dữ liệu) và model evasion (né tránh mô hình). Bài viết đề xuất giải pháp triển khai controls (kiểm soát) tại từng layer, continuous testing (kiểm tra liên tục) và open research (nghiên cứu mở) để xây dựng hệ thống AI an toàn hơn, điều mà các nhà phát triển nên học hỏi để chủ động bảo vệ sản phẩm của mình.

Anthropic’s Mythos found flaws in classified US systems during a government test

Mô hình AI Mythos của Anthropic đã phát hiện lỗ hổng trong các hệ thống bí mật của chính phủ Mỹ trong một cuộc thử nghiệm kiểm tra đỏ có kiểm soát, chứ không phải do tấn công từ bên ngoài. Kết quả này nhấn mạnh khả năng của Mythos trong việc tìm ra hàng nghìn lỗ hổng zero-day trên các hệ điều hành và trình duyệt lớn, dù chính phủ Mỹ từng hạn chế công khai mô hình này sau một vụ jailbreak riêng.

Những phát hiện về khả năng phát hiện lỗ hổng trong hệ thống an ninh quốc gia của Mỹ cho thấy AI mạnh mẽ như Mythos có thể trở thành công cụ quan trọng trong bảo mật, nhưng cũng đặt ra thách thức về kiểm soát và ứng dụng công bằng—là vấn đề cần thảo luận để xây dựng hệ sinh thái an toàn và minh bạch cho công nghệ AI.

If you're not using AI to attack your own systems, your adversaries will

Bài viết chỉ ra rằng các tác nhân AI (agents) đang trở thành bề mặt tấn công mới mà các đội bảo mật phải đối mặt. Nguyên nhân kỹ thuật là khi kẻ tấn công sử dụng mô hình ngôn ngữ lớn hoặc các hệ thống agente tự chủ để tự động quét, phát hiện và khai thác lỗ hổng trong hệ thống mục tiêu. Hệ quả là bề mặt tấn công mở rộng đáng kể, khiến các phương pháp thủ công truyền thống không kịp theo kịp và gây lo lắng existentielle cho các nhà bảo vệ. Bài khuyên các tổ chức nên chủ động triển khai các agente AI của riêng mình để thực hiện red teaming và mô phỏng tấn công, từ đó phát hiện lỗ hổng trước khi kẻ thù khai thác. Điều này không chỉ giúp giảm thiểu rủi ro mà còn tạo raวงจro phản hồi liên tục giữa tấn công và phòng thủ trong thời đại AI.

Bài viết giúp lập trình viên hiểu được cách tấn công hệ thống bằng AI để chủ động phòng thủ trước kẻ thù.

Priorities and principles for effective third party assessments

OpenAI outlines priorities and principles for rigorous, secure, and independent third-party AI safety assessments of frontier models and safeguards.

16 governance tools for securing your AI fleet

Công nghệ AI đang phát triển mạnh mẽ tại các doanh nghiệp, dẫn đến nhu cầu kiểm soát và bảo mật các mô hình ngôn ngữ lớn (LLMs) và agents. Các nền tảng trust, guardrail và red-teaming đang ra đời để giải quyết vấn đề này, với 16 công cụ đáng chú ý nhất hiện có. Các giải pháp này tập trung vào việc kiểm soát truy cập, giám sát hoạt động và phát hiện rủi ro tiềm ẩn trong các hệ thống AI. Doanh nghiệp nên cân nhắc tích hợp các công cụ này để đảm bảo an toàn và tuân thủ khi triển khai AI trên quy mô lớn.

Bài viết giúp lập trình viên hiểu rõ 16 công cụ quản trị AI thiết yếu để bảo vệ và kiểm soát hệ thống LLM và agent trong doanh nghiệp.

Adversarial Prompt Generation: Building Safer AI with Human-in-the-Loop Oversight

Các hệ thống AI ngày càng mạnh mẽ nhưng cũng dễ bị thao túng bởi các adversarial prompt. Các nghiên cứu mới chỉ ra rằng việc kết hợp human-in-the-loop oversight có thể phát hiện đến 92% các prompt độc hại. Phương pháp này sử dụng kỹ thuật RLHF (Reinforcement Learning from Human Feedback) để đào tạo mô hình nhận diện các hành vi xấu. Điều đáng học là cách tiếp cận này không chỉ bảo vệ AI mà còn giúp cải thiện sự minh bạch và kiểm soát của người dùng trên công nghệ.

Bài viết giúp lập trình viên hiểu cách xây dựng AI an toàn hơn với cơ chế giám sát của con người để chống lại các tấn công Prompt Injection.

Why AI raises the stakes for exposure validation

Tại Fal.Con 2026, các lãnh đạo an ninh mạng đang đối mặt với thách thức ngày càng tăng khi AI đẩy nhanh tốc độ phát hiện lỗ hổng. Nguyên nhân kỹ thuật nằm ở khả năng phân tích và tự động hóa của các công cụ AI trong việc quét hệ thống. Hệ quả là doanh nghiệp phải đối mặt với lượng lớn các điểm yếu được phát hiện, khiến việc xác định lỗ hổng nào thực sự có nguy cơ bị khai thác trở nên quan trọng hơn bao giờ hết. Điều đáng học là các tổ chức cần đầu tư vào giải pháp exposure validation sử dụng AI để ưu tiên xử lý các rủi ro thực sự, như các nền tảng Qualys Risk Based Vulnerability Management đã làm.

AI thay đổi cách xác định lỗ hổng bảo mật, giúp lập trình viên tập trung vào các điểm yếu thực sự có thể bị khai thác.

From Findings to Fixes: Getting Value from Red Team Results

A red team report is a starting point. Learn how to extract full value from findings: root cause analysis, detection gap mapping, remediation prioritization, and building the improvement habit.

Cleartext Credential Recovery in ServiceNow

Discover a technique for retrieving cleartext LDAP credentials from ServiceNow using script includes, and how to defend against it.

Alice raises $140mn to stress-test the models Anthropic and Google ship

Noam Schwartz's firm red-teams models for Anthropic, Google and Cohere. Alice has raised $140mn led by Apax Digital, at a disputed valuation.

New attack lets hackers plant hidden instructions in AI memory with a single prompt

Các tác giả mô tả kỹ thuật InjecMEM cho thấy một lệnh duy nhất có thể được chèn vào bộ nhớ dài hạn của một AI agent và tiếp tục ảnh hưởng đến các phản hồi sau này mà không cần thêm prompt nào khác. Nguyên nhân là do cơ chế lưu trữ và truy xuất Context trong các mô hình ngôn ngữ lớn không adequately sanitize đầu vào trước khi ghi vào bộ nhớ, cho phép kẻ tấn công mã hóa hướng dẫn ẩn dưới dạng token aparentemente vô hại. Khi được kích hoạt, những hướng dẫn này có thể thay đổi hành vi của agent, dẫn đến việc tạo ra nội dung không mong muốn, rò rỉ dữ liệu hoặc thực hiện các hành động không được ủy quyền trong môi trường tự động. Hệ quả tiềm năng bao gồm việc duy trì các cuộc tấn công qua nhiều phiên làm việc, làm giảm hiệu quả của các biện pháp phòng ngừa dựa trên mỗi lượt chat riêng lẻ. Đáng học là cần áp dụng kiểm tra và làm sạch đầu vào trước khi lưu vào bộ nhớ, đồng thời giới hạn quyền ghi và thực hiện giám sát liên tục để phát hiện các thay đổi bất thường trong trạng thái bộ nhớ của AI.

Kỹ thuật InjecMEM giúp lập trình viên nhận ra lỗ hủy hoại AI có thể bị khai thác bằng một prompt duy nhất.

MiDojo: Improve AI agent security with real-world red-teaming

MiDojo cung cấp một framework mã nguồn mở để thực hiện red-teaming, giúp kiểm tra bảo mật và tính hữu dụng của các cuộc gọi API (tool calls) trong AI agent trước khi triển khai sản xuất.

Lập trình viên phát triển hệ thống AI nên đọc bài này để hiểu cách thử nghiệm an ninh thực tế bằng red-teaming, giúp phát hiện và khắc phục các lỗ hổng trước khi triển khai sản phẩm.