How I Resolved a Critical Loki Disk Space Crisis in Kubernetes

Đội đang chạy Loki làm hệ thống tập trung logs trên một cụm Kubernetes và bắt đầu thấy dung lượng ổ đĩa của persistent volume tăng đột ngột mà không có cảnh báo trước. Nguyên nhân là do Loki nhận lượng log vượt quá mức mong đợi vì cấu hình retention và labels không được áp dụng đúng, khiến các chunk log liên tục được ghi và không được dọn dẹp. Khi PVC đạt ngưỡng sử dụng, các node bắt đầu vào trạng thái disk‑pressure, dẫn tới việc Loki pod bị evicted, việc ingest logs ngừng và các cảnh báo hệ thống được kích hoạt. Việc khôi phục bao gồm việc dọn dẹp thủ công các chunk cũ, điều chỉnh tham số retention và max_age trong LokiConfig, đồng thời thiết lập giới hạn resource và alerts trên sử dụng PVC. Bài học là luôn cấu hình retention và compaction cho Loki, giám sát chỉ số PVC và đặt quota để ngăn ngừa hiện tượng “log storm” làm đầy ổ đĩa trong môi trường Kubernetes.