8 major updates to Cloudflare Observability

Introducing Web Search API via AI Gateway

Cloudflare AI Gateway đã tích hợp API web search thông qua đối tác với Ceramic.ai, Exa và Linkup. Các lập trình viên có thể đưa ngữ cảnh web thời gian thực vào lời gọi suy luận model qua AI Gateway, REST APIs hoặc Workers bindings. API này hỗ trợ truy xuất thông tin từ web ngay trong quá trình xử lý model, giúp tăng tính cập nhật và độ chính xác cho ứng dụng AI. Tính năng này đặc biệt hữu ích khi cần xử lý truy vấn đòi hỏi thông tin mới nhất từ internet mà không cần phải tự xây dựng hệ thống thu thập dữ liệu.

Lập trình viên nên đọc bài này để biết cách tích hợp API tìm kiếm web thời gian thực vào mô hình AI qua Cloudflare AI Gateway.

Supporting native Rust in Workers with the new Emscripten target for wasm-bindgen

Cloudflare đã hỗ trợ native Rust trên Workers thông qua target Emscripten mới cho …

AI Agent Observability: Logging, Tracing, and Debugging Explained

Các AI agent có thể tạo ra kết quả tự tin, hoàn hảo nhưng hoàn toàn sai mà không kích hoạt lỗi nào khiến theo dõi truyền thống trở nên vô hiệu. Nguyên nhân kỹ thuật là do thiếu hiểu biết về luồng thực thi agent, tool calls, và bước suy luận model, được giải quyết bằng structured logging với trace ID và OpenTelemetry GenAI semantic conventions. Hệ quả là chúng ta có thể theo dõi chi tiết token-based cost, thiết kế telemetry pipeline với sampling và privacy, và sử dụng OpenTelemetry MCP tracing spec version 1.39. Điều đáng học là so sánh các platform observability như Langfuse, Arize Phoenix, LangSmith, Braintrust, Helicone, AgentOps, Datadog LLM Observability với code examples thực tế để tối ưu hóa hiệu suất và chi phí.

Bài này cung cấp kiến thức quan trọng để hiểu và giải quyết các vấn đề giám sát đặc thù của AI agent mà các phương pháp truyền thống bỏ sót.

Saving another 100TB of RAM with math (and Rust)

Cloudflare đã giảm thành công việc sử dụng RAM lên đến 100TB cho dịch vụ dựa trên Pingora bằng cách áp dụng thống kê. Nguyên nhân kỹ thuật nằm ở việc tối ưu hóa việc lưu trữ trạng thái trong các cây nhị phân (binary trees) mà không làm giảm độ chính xác. Hệ quả là việc sử dụng RAM giảm xuống còn 25%, giải phóng tài nguyên đáng kể cho hệ thống. Bài viết đáng học ở chỗ cho thấy cách áp dụng toán học và Rust để giải quyết vấn đề hiệu suất mà không cần thay đổi logic nghiệp vụ.

Bài viết này tiết lộ phương pháp thống kê thú vị giúp giảm đáng kể lượng RAM sử dụng trong hệ thống mạng lớn của Cloudflare.

Microservices vs Monolithic Architecture: What Nobody Tells You Until You've Lived Through Both

So sánh chi tiết giữa monolithic và microservices vượt qua lý thuyết, bàn về sự phức tạp trong deployment, sự ảnh hưởng của Conway's Law đến ownership team, khó khăn trong debugging và observability, cũng như thách thức về data consistency, performance và scaling. Bài viết chỉ ra monolithic thực sự phù hợp trong những trường hợp nào, khi nào microservices mang lại hiệu quả, và giới thiệu khái niệm "modular monolith" như giải pháp trung gian. Các lỗi phổ biến như resume-driven development hay distributed monoliths được liệt kê kèm framework thực tế để ra quyết định dựa trên team, domain, delivery, operations và scale. Thông điệp chính là chọn architecture dựa trên vấn đề thực tế chứ không phải sự phức tạp giả định.

Bài viết này giúp lập trình viên hiểu rõ sự cân thực giữa kiến trúc microservices và monolithic, tránh những sai lầm phổ biến và đưa ra quyết định kiến trúc phù hợp dựa trên nhu cầu thực tế.

Introducing Observability Agent: Gets you from symptom to cause in minutes

SingleStore giới thiệu Observability Agent để giúp chẩn đoán vấn đề workspace trong vài phút. Công cụ này cho phép bạn hỏi bằng ngôn ngữ tự nhiên, theo dõi các tín hiệu monitoring và xem bằng chứng đằng sau mỗi câu trả lời. Với khả năng chuyển từ triệu chứng sang nguyên nhân nhanh chóng, giải pháp này giúp tiết kiệm đáng kể thời gian xử lý sự cố. Agent này tích hợp các tính năng observability hiện đại để cung cấp cái nhìn tổng quan về hệ thống trong thời gian thực. Đây là công cụ hữu ích cho các lập trình viên và quản trị hệ thống làm việc với SingleStore.

Observability Agent giúp bạn chẩn đoán vấn đề SingleStore trong vài phút bằng cách hỏi bằng ngôn ngữ tự nhiên và theo dõi các tín hiệu giám sát.

Tracing Agent Harness Behavior with NVIDIA NeMo Relay

Agent có thể hoàn thành nhiệm vụ nhưng vẫn đi theo đường dẫn kém hiệu quả. Tìm kiếm thất bại có thể kích hoạt tìm kiếm khác, việc đọc file bị cắt ngắn có thể dẫn đến lệnh fetch. NVIDIA NeMo Relay là công cụ giúp theo dõi behavior của agent, tập trung vào việc tối ưu hóa execution path. Bài viết phân tích các case study cụ thể, cho thấy agent có thể giảm tới 40% số lượng API call khi được tối ưu hóa. Nếu bạn làm với LLM agent và quan tâm đến efficiency, bài này cung cấp insight hữu ích về cách tối ưu workflow thực tế.

Bài này giúp lập trình viên hiểu cách NVIDIA NeMo Relay theo dõi hành vi agent để tối ưu hóa hiệu suất và chẩn đoấn lỗi.