Agnost AI: Catch Agent Failures Your Evals Miss

Watch AWS engineers troubleshoot agentic AI with OpenTelemetry and OpenSearch

AWS tổ chức buổi webinar ngày 22/7 do Dotan Horovits và Rekha Thottan dẫn dắt, giới thiệu cách kết hợp OpenTelemetry và OpenSearch để giám sát và khắc phục sự cố cho hệ thống AI agent. Buổi demo trình bày luồng dữ liệu logs, metrics, traces trong pipeline OTel và giới thiệu framework mã nguồn mở Agent Health nhằm phát hiện sớm hành vi bất thường của agent trước khi triển khai sản xuất. Bài viết nhấn mạnh rằng các phương pháp quan sát truyền thống không đủ cho AI agent phi tất định, và các giải pháp mã nguồn mở giúp tránh silo dữ liệu, tối ưu hóa ROI cho AI.

Lập trình viên phát triển hệ thống AI nên đọc bài này để tìm hiểu cách áp dụng OpenTelemetry và OpenSearch để theo dõi và debug các hệ thống AI có tính chất hành động (agentic) một cách hiệu quả, tránh bị mắc kẹt trong các công cụ đóng gói và phân tán dữ liệu.

IEEE Cloud Summit 2026: The Tunnels No One Mapped

IEEE Cloud Summit 2026 tập trung vào bảo mật và kiến trúc cho hệ thống AI agent, với những chia sẻ từ Salesforce về agent Kubernetes tự động hóa, AWS giới thiệu bảo mật ngữ cảnh cho agent, cùng công cụ AgentTrace giúp truy vết hành động của agent. Ba vấn đề chính nổi lên là quyền hạn quá mức của các danh tính phi con người, hệ thống xác suất chỉ nên xử lý nhiệm vụ mơ hồ, và khả năng truy xuất nguồn gốc phải là tiêu chuẩn thiết kế bắt buộc cho hệ thống agent.

Lập trình viên nên đọc bài này để hiểu cách ứng dụng kỹ thuật phân tích chính xác, bảo mật context-aware và tra cứu forensics trong các hệ thống AI agent, từ đó nâng cao kiến thức về cách xây dựng và bảo vệ các giải pháp cloud hiện đại, đặc biệt là khi triển khai các ứng dụng tự động hóa có độ tin cậy cao.

Heron : Wireshark for AI Agents: passive eBPF observability

Heron là công cụ phân tích mạng thụ động dành cho AI agents, sử dụng eBPF để giải mã lưu lượng TLS (LLM) thành plaintext mà không cần SDK hay proxy. Phiên bản 0.7.0 bổ sung kiến trúc OpenTelemetry-native, lọc tự động sidecar an ninh Claude Code, và xuất sẵn SFT trajectory cho fine-tuning, chạy dưới dạng binary Rust duy nhất.

Lập trình viên phát triển ứng dụng AI nên đọc để khám phá cách Heron giúp theo dõi và debug giao thức TLS bí mật của các agent AI một cách hiệu quả, từ đó tối ưu hóa hiệu suất và bảo mật mà không cần phụ thuộc vào SDK hoặc proxy phức tạp.

How DoorDash Built an AI Shopping Assistant That Doesn’t Rely on the LLM Alone

DoorDash published a three-part engineering deep dive on Ask DoorDash, its conversational AI shopping assistant. The system combines LLMs, specialized domain agents, Model Context Protocol (MCP)-based tooling, and a three-tier memory architecture (long-term, session, and agentic memory) to deliver personalized grocery and restaurant discovery experiences. An intelligence layer retrieves relevant memories via semantic vector search and injects them into prompts, separating memory management from model inference. Business logic is exposed through reusable MCP tools backed by existing DoorDash services rather than embedded in prompts. An automated evaluation framework simulates stateful conversations at scale, running over 2,000 daily evaluations and cutting regression testing from six hours to twenty minutes. Early production results include 24% higher grocery checkout conversion, 17% larger basket sizes, 7% fewer conversational turns, and a 35% latency reduction validated without quality regression.

Curiosity reduced the heap size by 60%

A developer noticed an agent filtering out a Ruby warning about redefining 'object_id' and investigated the root cause. The culprit was an incompatibility between opentelemetry-instrumentation-aws_sdk and an outdated aws-sdk v2: the OTel instrumentation's install block force-loaded all ~200 AWS service clients at boot via autoload resolution, including DataPipeline which triggered the warning. The fix used Ruby's Module#prepend to patch the loaded_service_clients method to skip autoloaded constants, preventing eager loading of unused services. The result was dramatic: AWS SDK files loaded dropped from 259 to 2, VM classes from 33K to 13K (-60%), heap size from 163MB to 67MB (-59%), and boot time from 2.69s to 1.72s (-36%). The broader takeaway is that small acts of curiosity during development, aided by AI agents, can yield significant improvements without requiring large dedicated efforts.

Woolworths joins SA’s grocery AI race – but you’ll wait for it

Woolworths South Africa has announced My Woolies Chef, an AI-powered food assistant integrated into its app that uses generative and conversational AI to suggest meals from 20 years of Woolworths Taste recipes and automatically populate shopping baskets on Woolies Dash. The tool won't reach customers until September, when a small beta group of MyDifference loyalty members will test it, with a broader rollout planned for early 2027. This positions Woolworths alongside rivals Pick n Pay (which launched Gemini-powered Penny on July 6) and Shoprite (whose Pixie assistant in Checkers Sixty60 already claims 98% adoption among Xtra Savings Plus subscribers). Unlike its competitors, Woolworths has not disclosed which AI models power the assistant or whether it's built in-house or with a partner.

Operating OpenTelemetry at scale with OpAMP

OpAMP (Open Agent Management Protocol) is a standardized protocol for remotely managing large fleets of observability agents, primarily OpenTelemetry Collectors. It enables central backends to push configuration updates, monitor agent health, and collect status information over WebSocket or HTTP. The protocol uses just two protobuf messages and supports an extension model (read-only) and a supervisor model (read-write with safe rollback). Beyond OTel Collectors, OpAMP can manage Kubernetes deployments via an OpAMP Bridge, Java SDKs for hot-reloading config, and Fluent Bit agents. A newly launched OpAMP Gateway Extension addresses WebSocket connection scaling limits by acting as a multiplexer — allowing 100,000 collectors to connect through 100 gateways rather than directly to the management platform. The project is currently in beta, with roadmap items including config diff support, true hot-reloading, and a telemetry policy OTEP that separates intent from implementation.