Databend Cluster Key Best Practices: Choosing Columns, Key Order, and Granularity

Databend là kho dữ liệu đám mây viết bằng Rust, lưu trữ nguyên gốc trên S3 và hỗ trợ các workload analytics, tìm kiếm, AI cũng như môi trường sandbox Python. Khi thiết lập cluster key, việc chọn sai cột – thường là những cột có cardinality thấp hoặc ít được lọc trong WHERE – khiến khả năng cắt bớt dữ liệu (pruning) giảm đáng kể, dẫn đến việc quét nhiều phân區 không cần thiết. Thứ tự cột trong key cũng quan trọng: đặt cột có chọn lọc cao trước giúp tối ưu hóa việc áp dụng bộ lọc liên tiếp, trong khi đặt sai thứ tự làm tăng overhead của việc hợp nhất các khoảng khóa. Độ chi tiết (granularity) của key cần phù hợp với phân bố dữ liệu và mẫu truy vấn; key quá mỏng tạo ra quá nhiều phân區 nhỏ, key quá dày làm mất lợi thế của chỉ mục. Nhờ đó, bài học chính là xác định các cột thường dùng trong điều kiện lọc, sắp xếp chúng theo mức chọn lọc giảm dần và điều chỉnh granularity sao cho số lượng phân區 cân bằng giữa chi phí mở file và hiệu suất pruning.