Prometheus vs VictoriaMetrics: Ingestion Got Cheaper. Cardinality Still Sent the Bill.

Đội ngũ đang tìm cách giảm chi phí ingest metrics khi lưu lượng ứng dụng tăng nhanh, vì vậy họ thử thay đổi nền tảng lưu trữ metrics. Sau khi chuyển từ Prometheus sang VictoriaMetrics, chi phí ingest mỗi sample giảm đáng kể nhờ cách lưu trữ và nén hiệu quả của VictoriaMetrics. Tuy nhiên, một label vô hại như user_id hoặc request_id vẫn có giá trị đa dạng cao, dẫn đến việc số lượng time series tăng vọt nhanh hơn mức tăng lưu lượng, khiến chi phí cardinality vẫn dominer hoá tổng bill. Kết quả là dù chi phí mỗi sample thấp hơn, tổng chi phí do cardinality explosion vẫn vượt ngân sách và bill không giảm như mong đợi. Bài học chính là việc chọn backend chỉ giải quyết một phần vấn đề; trước khi đưa label vào metrics cần kiểm soát cardinality bằng cách aggregation, dropping hoặc sử dụng histogram để tránh phát sinh series không cần thiết. Vì vậy, đầu tư vào thiết kế label và giám sát cardinality sớm sẽ tiết kiệm hơn cả việc đổi công cụ lưu trữ.