How we made ClickStack 5x faster for ClickHouse observability

The ClickStack team describes a benchmark-driven process to reduce observability query latency by more than 5× ahead of general availability. Key schema changes include: replacing the primary key with a five-minute time bucket (toStartOfFiveMinutes) to enable read_in_order optimization, dropping the redundant TimestampTime column, switching from bloom filters to deterministic text indexes on the Body and TraceId columns, enabling block_number and block_offset virtual columns for efficient single-row lookups, shipping default materialized views using AggregatingMergeTree for autocomplete/filter metadata, and introducing ALIAS columns that concatenate map key-value pairs to enable direct_read optimization on dynamic OpenTelemetry attributes. Every change was validated using ClickCannon, a custom benchmarking tool, against a realistic 640 MiB/s ingestion workload on ClickHouse Cloud.

Nguồn: https://clickhouse.com/blog/making-clickstack-5x-faster-clickhouse-observability. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Grafana Labs44 Hot13 phút9 ngày trướcAI

Tempo 3.0 release: a new architecture for scale and lower TCO, TraceQL metrics GA, and more

Tempo 3.0, phiên bản mới của hệ thống truy vết phân tán mã nguồn mở, giới thiệu kiến trúc tương thích Kafka cho microservices, tách biệt đường đọc-ghi, giảm yêu cầu sao chép RF3 xuống RF1, và thay thế ingesters/compactors bằng block-builders, live-stores cùng scheduler. Tính năng TraceQL metrics giờ đã sẵn sàng, hỗ trợ truy vấn metric trực tiếp từ trace data cùng toán tử so sánh mới, cùng nhiều cải tiến khác như giới hạn cardinality theo label, tối ưu truy vấn TraceQL AST, và công cụ di chuyển từ phiên bản 2.x.

Lập trình viên phát triển ứng dụng microservices nên đọc vì Tempo 3.0 mang đến kiến trúc Kafka-compatible cải tiến, giúp tối ưu hóa quy mô, giảm chi phí vận hành và cung cấp công cụ TraceQL mạnh mẽ để phân tích hiệu suất trực tiếp từ dữ liệu theo dõi phân tán.