We are not ready for what AI has done to red teaming

Secure Your AI Agents – Free Model Context Protocol (MCP) Security Course

The Model Context Protocol (MCP) helps connect LLMs to external tools, databases, and APIs. But giving AI agents hands and feet to take real-world actions introduces an entirely new attack surface. We

The Model Never Runs Your Code

The Model Never Runs Your Code A practical guide to LLM tool calling: how it works, how to design tools models use well and how to build a safe agent loop in Python A developer gives a language model …

I built a programming language that LLMs can't use

Tác giả đã phát triển ngôn ngữ lập trình KillSwitch - một ngôn ngữ bí ẩn được thiết kế đặc biệt để gây khó khăn cho các mô hình ngôn ngữ lớn (LLM) và các agent lập trình. Trong bài viết, tác giả đã tiến hành benchmark các mô hình lớn như GPT-4, Claude 3 và Gemini trên ngôn ngữ này, kết quả cho thấy khả năng của chúng giảm mạnh. Sự thất bại của các LLM khi tiếp cận KillSwitch cho thấy những giới hạn cơ bản trong khả năng hiểu ngữ cảnh và thực thi logic phức tạp của chúng. Bài viết là một minh chứng thú vị cho thấy việc thiết kế ngôn ngữ đặc thù có thể là công hữu hiệu để "tắt công" các hệ thống trí tuệ nhân tạo hiện đại.

Bài viết này giúp lập trình viên hiểu cách thiết kế ngôn ngữ lập trình có thể đánh bại các mô hình ngôn ngữ lớn và tự động hóa mã.

Using Agents for Long-Horizon Financial Work — Aman Singh, Arca

Arca head of AI Aman Singh joins Latent Space head of editorial Richard MacManus at AI Engineer New York, to discuss how Arca is building an AI-native wealth management firm. Singh explains Arca's architecture, which includes a custom harness and persi...

Researchers find bugs in 5 AI developer tools, with OpenAI and Microsoft flaws still unpatched

Embedded browsers are at the heart of the problem

What is Prompt Injection?

Learn what prompt injection is, how APIs expand the attack surface for LLM apps and AI agents, and tips to reduce the risk.

Ghost in the Shell: Can a Log File Hijack an AI?

This week's Hacktoberfest theme is Ghost in the Machine. Unfortunately, I don't have enough time to... Tagged with ai, security, halloween, promptengineering.

GitHub AI agent leaks private repos when asked nicely

GitHub's AI agent có lỗ hổng bảo mật 'GitLost' cho phép rò rỉ dữ liệu private repository khi được yêu cầu theo cách nhất định, hiện chưa có bản vá hay tài liệu chính thức từ GitHub.

Lập trình viên nên đọc bài này để hiểu về nguy cơ bảo mật mới trong GitHub, đặc biệt khi làm việc với các dự án riêng tư, và cách phòng tránh rủi ro khi sử dụng công cụ AI tích hợp trong hệ thống.