Track model usage with the OpenShift AI 3.4 usage dashboard

Red Hat OpenShift AI 3.4 introduces a new usage dashboard for Models-as-a-Service (MaaS) deployments, giving administrators visibility into token consumption, API requests, rate-limited calls, and active users. The dashboard supports time-based filtering, drill-down by subscription/user/model, and CSV export for preliminary chargeback. It currently relies on Prometheus metrics via Kuadrant/Limitador counters with TelemetryPolicy labels, which introduces limitations: high cardinality risk at scale, data accuracy issues due to extrapolation, 15-day default retention insufficient for billing cycles, and lack of per-call granularity. User-level tracking is disabled by default due to these risks. A future architectural improvement is planned that replaces Prometheus metrics with structured per-call access logs at the gateway level, enabling long-term storage, accurate summarization, and better integration with external cost-management systems.

Nguồn: https://developers.redhat.com/articles/2026/07/06/track-model-usage-openshift-ai-usage-dashboard. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

PromptLayer Blog1 Hot5 phút8 giờ trướcAI

Top 5 Chinese LLMs: The Models Powering China’s AI Surge in 2024–25

Năm mô hình ngôn ngữ lớn (LLM) hàng đầu của Trung Quốc nổi bật giai đoạn 2024–2026 gồm DeepSeek R1 (671B MoE, cấp phép MIT, mạnh về toán/lập trình), Alibaba Qwen-3 (235B MoE với chế độ hybrid/fast), Baidu ERNIE 4.5 & X1 (đa phương tiện và agentic), Huawei PanGu-Σ/5.0 (hơn nghìn tỷ tham số, phục vụ công nghiệp), và Zhipu GLM-4.5 (hơn 355B MoE, top 3 toàn cầu về benchmark). Chúng thể hiện ưu thế về hiệu quả MoE, khả năng agentic, mã nguồn mở và giá thành thấp hơn đáng kể so với các đối thủ phương Tây.

Nếu bạn là lập trình viên muốn tối ưu hóa hiệu suất phát triển, hiểu về các công nghệ tiên tiến trong AI và tìm kiếm giải pháp hiệu quả về chi phí cho dự án của mình, bài viết này sẽ cung cấp những kiến thức về các mô hình ngôn ngữ lớn của Trung Quốc đang định hình tương lai công nghệ.