Infrastructure efficiency: How a classic math problem helped reduced our capacity buffers

Your Business, Always Current. Streamhouse - The Data Architecture for the Age of AI.

To make accurate decisions at machine speed, we need to maintain the state of the business as it changes. It needs to be always current, decentralized across systems that already run the business, and dependable for software to act on it. The architecture that makes this possible is the Streamhouse.

Apache Flink CDC 3.7.0 Release Announcement

Phiên bản Flink CDC 3.7.0 giới thiệu xử lý dữ liệu dựa trên AI với API mô hình có thể cắm thêm, client mô hình tương thích OpenAI và các hàm văn bản, đa phương thức tích hợp sẵn. Bản cập nhật này cũng bổ trợ inline Python UDF, các connector nguồn mới cho SQL Server và Fluss Pipeline, cùng với cơ chế xử lý schema an toàn hơn cho các bảng sink. Việc cải tiến pipeline configuration và routing cũng được thực hiện, cùng với các bản sửa lỗi tăng độ ổn định cho nhiều connector khác nhau. Đây là phiên bản đáng chú ý nếu bạn đang tìm kiếm tích hợp AI vào pipeline dữ liệu hoặc cần các tính năng xử lý dữ liệu mới.

Lập trình viên nên đọc bài này để cập nhật những tính năng mới như AI xử lý dữ liệu và cải tiến kết nối trong Flink CDC 3.7.0.

Mastering stateful stream reordering at 200,000 messages per second

Stateful stream processing at 200,000 messages per second: how in-memory reordering took RocksDB off Flink's hot path, proven by A/B development.

Graphiant Named Confluent 2027 Data Streaming Startup of the Year

Graphiant, Confluent's 2027 Data Streaming Startup of the Year for the Americas, is transforming enterprise networking. Discover how it uses Apache Kafka on Confluent Cloud to power real-time network observability, streaming analytics, and customer-facing dashboards.

Apache Flink Agents 0.4.0 Release Announcement

The Apache Flink community is excited to announce the release of Apache Flink Agents 0.4.0. Apache Flink Agents brings AI agents into Flink streaming pipelines. Applications can continuously respond to real-time events, combine AI processing with business logic, and use Flink for distributed execution and fault recovery. Shaped by feedback from early production adopters and advances in the agent ecosystem, Flink Agents 0.4 marks the final planned step toward a production-ready 1.

Scaling Spark and Flink Shuffle at LinkedIn with Apache Celeborn

LinkedIn details how it replaced Spark's push-based Magnet shuffle with a unified shuffle platform built on Apache Celeborn, serving both Spark and Flink workloads at massive scale. The architecture disaggregates shuffle storage from compute via dedicated Celeborn workers, adding network-aware replication, disruption-aware slot selection, fleet-wide health monitoring, NVMe storage, 100 Gbps networking, and ZSTD compression. Results versus the Magnet baseline include a 20x reduction in task failures during maintenance, 40% lower shuffle duration, 35% smaller required fleet size, 6x faster slot selection, ~10% lower compute cost, ~14% lower runtime, shuffle fetch failures dropping from ~750 to ~20 per day, and ~90% lower per-task shuffle cost. The rollout also enabled Flink to absorb large historical backfills, retiring a parallel Spark-based historical pipeline across thousands of pipeline instances.

From 40 seconds to under 10: rebuilding incident detection on OpenTelemetry, Apache Kafka, and Apache Flink on Kubernetes

Một công ty SaaS từng mất tới 40 giây để phát hiện sự cố, trong khi khách hàng đã nhận ra ngay lập tức. Họ đã tối ưu hóa hệ thống monitoring bằng cách kết hợp OpenTelemetry, Apache Kafka và Apache Flink trên Kubernetes để giảm thời gian phát hiện sự cố xuống dưới 10 giây. Sự thay đổi này giúp hệ thống xử lý dữ liệu từ 300GB/giây với độ trễ chỉ 50ms, thay vì phải chờ hàng chỗi giây trước đó. Điều đáng học hỏi là cách họ thiết kế pipeline xử lý dữ liệu với Flink stateful processing để phát hiện bất thường trong thời gian thực, kết hợp với Kafka buffering đảm bảo độ tin cậy của dữ liệu ngay cả khi hệ thống gặp sự cố.

Bài viết này giúp lập trình viên tối ưu hóa hệ thống giám sát sự cố từ 40 giây xuống dưới 10 giây bằng cách triển khai lại hệ thống phát hiện sự cố trên OpenTelemetry, Apache Kafka và Apache Flink.

Pinterest Uses Event Time Watermarks to Finalize Petabyte Scale Data Partitions

Pinterest has introduced event time-based partition finalization for its database ingestion framework. The mechanism uses Apache Flink to track event time and Apache Iceberg metadata to publish a non-