How to scale Alloy as a central telemetry gateway: capacity planning, load testing, and production lessons

Bài viết mô tả cách họ đã lên kế hoạch sức chứa cho Alloy làm gateway trung tâm thu thập telemetry cho Grafana Cloud dựa trên dự án với một khách hàng doanh nghiệp. Họ ước lượng mức ingest trung bình khoảng 250.000 mẫu/giây mỗi instance và sử dụng k6 để thực hiện thử nghiệm tải lên tới 1,2 triệu mẫu/giây, quan sát mức CPU tăng lên 70% và bộ nhớ khoảng 6 GB mỗi pod. Khi triển khai trong sản xuất, độ trễ bắt đầu tăng rõ khi throughput vượt quá 800.000 mẫu/giây, prompting họ để kích hoạt autoscaling dựa trên metrics alloy_receiver_accepted_samples_total và alloy_exporter_sent_samples_total cũng như mức sử dụng CPU và queue depth. Từ kinh nghiệm này, bài viết khuyên nên thực hiện capacity planning bằng cách mô phỏng tải thực tế với công cụ như k6 hoặc Locust trước khi đi vào production. Cuối cùng, họ nhấn mạnh việc theo dõi liên tục các chỉ số của Alloy và điều chỉnh replicas một cách chủ động để tránh quá tải và duy trì SLA của hệ thống telemetry.