APIM Policy Patterns for AI Governance: Part 1 – Rate Limits, Token Quotas & Observability

Bài viết mô tả cách áp dụng Azure API Management (APIM) để quản lý truy cập tới các dịch vụ AI thông qua các chính sách rate limit và token quota. Tác giả sử dụng chính sách rate-limit-by-key để giới hạn số request mỗi phút theo khóa người dùng hoặc API key, đồng thời áp dụng quota-by-key để kiểm soát tổng số token được tiêu thụ trong một khoảng thời gian. Các chính sách set-variable và emit telemetry (log-to-eventhub hoặc integrate với Application Insights) được dùng để gắn nhãn usage, đo lường latency và phát hiện khi backend bắt đầu throttling. Khi backend trả về lỗi 429 hoặc 503, APIM tự động áp dụng retry policy hoặc trả về phản hồi 429 với header Retry-After, giúp giảm áp lực lên dịch vụ AI và cung cấp thông tin rõ ràng cho client. Từ đây, bài học là việc tập trung quy định gouvernance ở lớp APIM không chỉ giảm tải backend mà còn cung cấp khả năng quan sát toàn diện, giúp팀 phát triển dễ dàng điều chỉnh giới hạn mà không cần thay đổi mã nguồn AI.