How we measure data completeness at scale

Datadog's Data Completeness team explains how they built a system to measure whether every payload flowing through hundreds of distributed ingestion pipelines actually reaches customers. The approach splits pipelines into segments and tracks payloads using create and acknowledgment events with unique identifiers, scoped to time buckets for idempotency. Sequential pipeline completeness is computed as a product of segment ratios, while parallel branches use a volume-weighted average. To handle billions of payloads per second cost-effectively, the system uses adaptive load-shedding bulletins that dynamically sample per-customer traffic. A custom in-memory storage layer with lock-free, worker-per-shard design avoids external dependencies like Kafka or Redis, ensuring the measurement system stays operational even during the incidents it monitors. A metadata graph layer models live ingestion topology, enabling automated systems like Kubernetes Autoscaling to skip decisions when data is incomplete, and routing incident pages to the right teams automatically.

Nguồn: https://www.datadoghq.com/blog/engineering/data-pipeline-completeness. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Datadog1 Hot7 phút2 giờ trướcAI

DASH 2026 recap: Product news, sessions, and highlights

Tại hội nghị DASH 2026 của Datadog ở New York, hơn 170 sản phẩm và tính năng mới đã được giới thiệu, tập trung vào AI-driven operations (Bits AI) như phát hiện mối đe dọa, khắc phục sự cố, tối ưu hóa cơ sở dữ liệu, đánh giá mô hình và săn lùng mối đe dọa. Bên cạnh đó, khả năng quan sát (observability) được mở rộng với quản lý cấu hình mạng, giám sát hành trình người dùng và tự động tối ưu chi phí. Sự kiện còn có hơn 100 phiên kỹ thuật với sự tham gia của các chuyên gia từ OpenAI, Anthropic, Hugging Face, Vercel cùng chia sẻ từ khách hàng như Samsung, Figma và Volkswagen Group. Ngoài ra, khu vực bảo mật được mở rộng, thành lập các đại diện khu vực tại Nhật Bản, Hàn Quốc, Brazil và diễn ra Hội nghị Đối tác lần thứ năm.

Lập trình viên cần đọc để khám phá cách AI như Bits AI của Datadog tự động tối ưu hóa hệ thống, phát hiện lỗi và bảo vệ ứng dụng, giúp nâng cao hiệu suất và an toàn trong phát triển phần mềm.