Part 5: Operating an LLM system: observability, cost, routing, and the platform underneath

Contain, observe, adapt: Three trends shaping agentic software development

Bối cảnh phát triển agentic software đang có ba xu hướng chính: contain, observe, adapt. Nguyên nhân kỹ thuật là do các AI agent ngày càng phức tạp và cần quản lý lifecycle hiệu quả, dẫn đến hệ quả là việc triển khai và giám sát chúng trong production trở nên thách thức đáng kể. Xu hướng "contain" tập trung vào sandboxing để hạn chế rủi ro, "observe" sử dụng các tool như OpenTelemetry và Prometheus theo dõi hành vi agent, còn "adapt" nhấn mạnh cơ tự điều chỉnh dựa trên feedback loop. Điều đáng học là các lập trình viên cần hiểu rõ ba xu hướng này để thiết kế hệ thống AI agent có khả năng kiểm soát, giám sát và tự cải thiện trong môi trường production thực tế.

Bài viết này giúp lập trình viên nắm bắt ba xu hướng chính đang định hình cách phát triển và quản lý AI agent trong môi trường thực tế.

Multi-Tenant Best Practices Can Backfire

Multi-tenant architecture giúp tối ưu tài nguyên nhưng các best practices như shared …

Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day

Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.

Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.

My agents told me to enter: an independent builder at OpenSearchCon 2026

Tại OpenSearchCon 2026, nhà độc lập xây dựng Ciki Zeng đã chia sẻ trải nghiệm của mình tại Agent Skills Hackathon do các agents của cô chọn ra. Nguyên nhân kỹ thuật đằng sau sự thành công là khả năng của OpenSearch trong việc xử lý query phức hợp với response time dưới 200ms, giúp agents tự động đánh giá quality metrics. Hệ quả là nhiều team đã thất bại vì chỉ tập trung vào feature mới mà quên đi verification step quan trọng. Điều đáng học là trong quá trình building agent, "done" nên là một claim bạn cần verify kỹ lưỡng chứ không phải là điểm dừng.

Bài này giúp lập trình viên hiểu tầm quan trọng của việc xác nhận tính hoàn thành dự án qua kinh nghiệm tham gia Agent Skills Hackathon tại OpenSearchCon 2026.

gRPC vs REST Is the Wrong Question · Buf

Bối cảnh: Câu trả lời truyền thống thường khuyên sử dụng REST cho public APIs và gRPC cho microservices. Nguyên nhân kỹ thuật: REST dựa trên HTTP/JSON trong khi gRPC sử dụng Protocol Buffers và HTTP/2, mang lại hiệu suất tốt hơn. Hệ quả: Cách phân chia này tạo ra sự lựa chọn sai lầm vì cả hai đều có thể được sử dụng linh hoạt trong nhiều ngữ cảnh khác nhau. Điều đáng học: Buf cho thấy chúng ta nên cân nhắc dựa on yêu cầu thực tế như hiệu suất, ngôn ngữ và công cụ hỗ trợ thay vì chỉ dựa trên kiến trúc hệ thống.

Bài viết này giúp lập trình viên hiểu sâu hơn về lựa chọn công nghệ API, vượt ra ngoài so sánh bề mặt gRPC và REST để tìm giải pháp phù hợp nhất cho từng ngữ cảnh cụ thể.

Practical Rust API Design

Bài viết Practical Rust API Design tập trung vào nguyên tắc thiết kế API cho hệ thống …

Architecting with LLMs: use plain old code when you can, LLMs when you must

Khi thiết kế hệ thống với LLM, hãy sử dụng plain old code (POC) cho các tính năng có thể định nghĩa chính xác, và dành LLM cho những nhiệm vụ cần phán đoán, diễn giải hoặc xử lý đầu vào mơ hồ. Khung kiến trúc này áp dụng phép phân tích chức năng đệ quy để chia hệ thống thành các trách nhiệm riêng biệt, sau đó phân loại từng trách nhiệm thuộc về POC hay LLM, như minh họa trong workflow coding-agent 'implement plan'. LLM nên được đặt tại ranh giới hệ thống để xử lý đầu vào không có cấu trúc, và cần cung cấp cho chúng các công cụ POC như Gradle, Git để tương tác với thế giới thực. Khi hiểu biết về vấn đề ngày càng sâu sắc, ta cần xem xét và chuyển đổi lựa chọn triển khai giữa POC và LLM.

Bài này giúp lập trình viên hiểu cách phân bổ trách nhiệm hệ thống giữa code truyền thống và LLM dựa trên tính chất cụ thể của từng nhiệm vụ.

Tempo 3.1 release: new features for Kafka, TraceQL metrics updates, trace redaction, and more

Tempo 3.1 mang đến những cải thiện đáng kể cho Kafka client, giúp tăng hiệu suất và ổn định khi xử lý tracing data. Phiên bản này cũng bổ sung các tính năng mới cho TraceQL metrics, cho phép truy vấn và phân tích dữ liệu đo lường chi tiết hơn. Hệ quả là người dùng có thể vận hành Tempo dễ dàng hơn và khai thác thông tin sâu sắc từ tracing data. Đặc biệt, tính năng trace redaction giúp bảo mật dữ liệu nhạy cảm bằng cách tự động loại bỏ thông tin quan trọng trước khi lưu trữ.

Tempo 3.1 mang lại nhiều cải tiến quan trọng giúp lập trình viên dễ dàng vận hành và phân tích dữ liệu tracing hiệu quả hơn.