Beyond Offset Lag: Computing Time in Queue for Apache Hudi Data Lake Pipelines at Petabyte Scale

Hệ thống data lake của bài viết sử dụng Apache Hudi để lưu trữ và xử lý dữ liệu cho analytics, reporting và machine learning ở mức petabyte. Các pipeline chỉ dựa vào offset lag của Kafka để đo lường độ trễ, nhưng metric này không phản ánh thời gian thực tế mà bản ghi chờ trong hàng đợi trước khi được Hudi ingest. Vì vậy, việc cảnh báo và tối ưu hoá tài nguyên thường bị lệch, dẫn tới việc 과다 hoặc thiếu cung cấp tài nguyên xử lý stream. Bài viết đề xuất cách tính “time in queue” bằng cách so sánh timestamp khi bản ghi vào Kafka và thời điểm Hudi commit, cho phép truy vấn độ trễ thực tế qua các bảng Hudi timeline. Kết luận là, trong các data lake quy mô lớn, cần kết hợp metric thời gian chờ trong hàng đợi với offset lag để có cái nhìn toàn diện về latency và đưa ra quyết định scaling hoặc tuning chính xác hơn.