Amazon ECS adds LiveTaskCount and removes the charge for RunningTaskCount metric

How to Create System Design Diagrams using Python

Việc tạo hệ thống diagram cho kiến trúc hệ thống là phần quan trọng trong tài liệu kỹ …

How AI Agents Are Changing API Architecture

AI agents đang định hình lại kiến trúc API với cách tiếp cận mới về bảo mật, quản lý và giám sát. Các agent thông minh như OpenAI Assistant hay Anthropic Claude giúp tự động hóa việc ủy quyền và xác thực, giảm đến 70% lỗi cấu hình thủ công. Hệ quả là hiệu suất API tăng lên 35% nhờ khả năng tối ưu hóa đường đi truy vấn tự động. Điều đáng học là cách integration AI agents không chỉ cải thiện security nhưng còn tạo ra hệ thống API có khả năng tự giải quyết vấn đề, giảm 50% thời gian phản hồi cho các request phức tạp.

Bài viết này giúp lập trình viên hiểu cách AI agents đang cách mạng hóa kiến trúc API và các yếu tố liên quan.

Architecting with LLMs: use plain old code when you can, LLMs when you must

Khi thiết kế hệ thống với LLM, hãy sử dụng plain old code (POC) cho các tính năng có thể định nghĩa chính xác, và dành LLM cho những nhiệm vụ cần phán đoán, diễn giải hoặc xử lý đầu vào mơ hồ. Khung kiến trúc này áp dụng phép phân tích chức năng đệ quy để chia hệ thống thành các trách nhiệm riêng biệt, sau đó phân loại từng trách nhiệm thuộc về POC hay LLM, như minh họa trong workflow coding-agent 'implement plan'. LLM nên được đặt tại ranh giới hệ thống để xử lý đầu vào không có cấu trúc, và cần cung cấp cho chúng các công cụ POC như Gradle, Git để tương tác với thế giới thực. Khi hiểu biết về vấn đề ngày càng sâu sắc, ta cần xem xét và chuyển đổi lựa chọn triển khai giữa POC và LLM.

Bài này giúp lập trình viên hiểu cách phân bổ trách nhiệm hệ thống giữa code truyền thống và LLM dựa trên tính chất cụ thể của từng nhiệm vụ.

Tempo 3.1 release: new features for Kafka, TraceQL metrics updates, trace redaction, and more

Tempo 3.1 mang đến những cải thiện đáng kể cho Kafka client, giúp tăng hiệu suất và ổn định khi xử lý tracing data. Phiên bản này cũng bổ sung các tính năng mới cho TraceQL metrics, cho phép truy vấn và phân tích dữ liệu đo lường chi tiết hơn. Hệ quả là người dùng có thể vận hành Tempo dễ dàng hơn và khai thác thông tin sâu sắc từ tracing data. Đặc biệt, tính năng trace redaction giúp bảo mật dữ liệu nhạy cảm bằng cách tự động loại bỏ thông tin quan trọng trước khi lưu trữ.

Tempo 3.1 mang lại nhiều cải tiến quan trọng giúp lập trình viên dễ dàng vận hành và phân tích dữ liệu tracing hiệu quả hơn.

AWS Lambda announces Lambda Web Functions

AWS vừa công bố Lambda Web Functions, tính năng mới cho phép chạy trực tiếp các HTTP request mà không cần API Gateway. Công nghệ này rút giảm độ trễ xuống còn dưới 10ms bằng cách loại bỏ lớp trung gian xử lý request. Người dùng có thể triển khai code function như một dịch vụ web thuần túy mà không cần cấu hình thêm, giúp giảm độ phức tạp của kiến trúc từ 2 thành phần xuống còn 1. Đây là bước tiến quan trọng giúp các lập trình viên tối ưu hóa chi phí và hiệu suất cho ứng dụng serverless trên AWS.

Bài viết này giúp lập trình viên biết cách sử dụng AWS Lambda Web Functions để triển khai ứng dụng web dễ dàng hơn trên nền tảng đám mây AWS.

What happens when the cloud blows up?

Bối cảnh dịch vụ đám mây ngày càng phổ biến nhưng ít người tính đến rủi ro lớn hơn sự cố kỹ thuật. Nguyên nhân kỹ thuật bài đề cập đến chiến tranh Iran gây thiệt hại vật chất đến nhiều availability zone. Hệ quả là toàn bộ hệ thống cloud bị ngừng hoạt động dù đã có kế hoạch dự phòng cho mất điện hay ổ cứng hỏng. Điều đáng học là ngay cả các giải pháp disaster recovery cấp cao cũng không thể chống lại rủi ro vật lý ngoài tầm kiểm soát. Lập trình viên nên cân nhắc triển khai kiến trúc multi-region với các cloud provider khác nhau để giảm thiểu rủi ro này.

Bài viết giúp lập trình viên hiểu rõ các rủi ro ngoài dự kiến như xung đột địa chính trị có thể ảnh hưởng đến hạ tầng cloud và cách phòng ngừa.

Part 5: Operating an LLM system: observability, cost, routing, and the platform underneath

Mức độ 5 của hệ thống LLM cần quan sát để đảm bảo hoạt động chính xác trong khi vẫn 100% uptime. Vấn đề kỹ thuật chính là hệ thống có thể vẫn đang chạy nhưng đang phê duyệt sai, vượt ngân sách hoặc chuyển sang chất lượng chưa được kiểm tra. Hệ quả là tổn thất tài chính và giảm chất lượng dịch vụ không được phát hiện. Giải pháp là xây dựng platform quan sát (observability) để kiểm soát chi phí, routing giữa các model và phát hiện hành vi xấu trong vòng vài giây. Đây là nền tảng quan trọng cho các hệ thống LLM production đòi hỏi độ tin cậy cao.

Bài viết này giúp lập trình viên hiểu cách vận hành hệ thống LLM an toàn, tiết kiệm và hiệu quả qua quan sát chi phí, định tuyến và nền tảng hỗ trợ.

Introducing AgentHub: Booking.com Platform for Modular Travel AI Agents

Booking.com đã phát triển AgentHub, nền tảng để xây dựng các AI agent du lịch dạng module. AgentHub sử dụng GPT-4 và fine-tuning RLHF để tạo ra các agent có khả năng lập kế hoạch chuyến đi phức tạp. Nền tảng này cho phép chia nhỏ các agent chuyên biệt, mỗi agent xử lý một khía cạnh cụ thể như đặt chỗ hoặc gợi ý điểm tham quan. Kết quả là hệ thống có thể xử lý các yêu cầu phức tạp với độ chính xác 85%, cao hơn nhiều so với các phương pháp trước đây. Lập trình viên nên đọc bài để hiểu cách triển khai hệ thống multi-agent với orchestration layer hiệu quả.

AgentHub giúp lập trình viên hiểu cách xây dựng và quản lý hệ thống AI agents module hóa cho nền tảng du lịch lớn.