#apache-flink

Apache Flink Kubernetes Operator 1.16.0 Release Announcement

Apache Flink Kubernetes Operator 1.16.0 tập trung vào khả năng mở rộng và tài liệu với cấu trúc lại hoàn toàn trang documentation. Phiên bản này giới thiệu ba SPI (Service Provider Interface) có thể cắm vào cho autoscaler: custom evaluators, scaling executors và alignment modes, cùng với thiết lập mặc định mới cho autoscaler parallelism alignment. Operator hỗ trợ Kubernetes-native pod ResourceRequirements và sửa lỗi liên quan đến Blue/Green, session job, savepoint reliability và security hardening. Bạn có thể tải phiên bản 1.16.0 này và chia sẻ trải nghiệm qua Flink mailing lists hoặc JIRA nếu cần xem chi tiết các thay đổi kỹ thuật cụ thể.

Bài viết này cung cấp cập nhật quan trọng về tính mở rộng và tài liệu cho Apache Flink Kubernetes Operator phiên bản 1.16.0.

Infrastructure efficiency: How a classic math problem helped reduced our capacity buffers

LinkedIn đã áp dụng bài toán newsvendor (mô hình quản lý tồn kho kinh điển) để tối ưu hóa capacity buffer cho hạ tầng private cloud. Kết hợp dự báo nhu cầu, làm sạch tín hiệu và multiplexing buffer headroom và overhead, họ giảm 8.5% dung lượng buffer cần thiết cho platform stream-processing mà không ảnh hưởng đến độ tin cậy. Phương pháp này phân biệt biến động nhu cầu hữu cơ với các thay đổi theo kế hoạch và tính đến độ biến động lead-time trong private cloud. Cách tiếp cận này coi capacity hạ tầng như một bài toán chuỗi cung ứng và hiện đang được mở rộng ra toàn hệ sinh thái hạ tầng của LinkedIn.

Áp dụng mô hình quản lý hàng tồn kho mớisvendor giúp LinkedIn giảm 8,5% dung lượng cần thiết cho hạ tầng điện toán đám mây riêng mà vẫn đảm bảo độ tin cậy.

Lyft Moves Streaming Fleet to Apache Flink Kubernetes Operator

Lyft has moved hundreds of production Flink jobs from a 2020 in-house Kubernetes operator to the Apache Flink Kubernetes Operator, unlocking last-state upgrades, in-place autoscaling and resource auto

Apache Polaris with Apache Flink: A Guide

How to connect Apache Flink to Apache Polaris as an Iceberg REST catalog, why every checkpoint becomes a snapshot, and the settings that matter in production.

Building an Agentic SOC on a Stream

Confluent built automated investigator uniting a central triage coordinator, specialized evidence agents, an adversarial evaluator, and a self-learning knowledge base. By treating alerts as a continuous stream, we analyzed 100% of volume and scaled triage throughput.

Netflix Moves Toward Open Source Flink Autoscaler for 30,000+ Streaming Jobs

Netflix is moving toward the open-source Apache Flink Autoscaler for more than 30,000 streaming jobs across multiple AWS regions. The operator-level approach addresses limitations of Netflix’s cluster

Real-Time Intelligence with IBM Time Series Models on Confluent

A Blog post by IBM Research on Hugging Face

Rerouting the Stream: How Lyft Moved to the Apache Flink Operator

Rerouting the Stream: How Lyft Moved to the Apache Flink Operator Written by Maheep Myneni, Arda Kuyumcu, and Prem Santosh Udaya Shankar at Lyft. Why We Migrated: Technical Debt Meets Modern …

Advancing the Open Lakehouse with Apache Spark, the Delta Kernel, and the new UC Delta APIs

Delta Lake 4.4.0 mở rộng kiến trúc bảng được quản lý bởi catalog với các cải tiến trên Delta Spark, Kernel, UniForm, Sharing và Flink. Delta Spark chuyển mặc định sang Apache Spark 4.2 (vẫn hỗ trợ 4.1.0 và 4.0.1) và bổ sung cột identity/generated trong SQL DDL, hỗ trợ SHOW PARTITIONS và giữ nguyên cột VOID. Khi kết hợp với Unity Catalog 0.6.0, người dùng có thể tạo các view số liệu được quản lý trên các bảng Delta được catalog quản lý, nâng cao khả năng kiểm soát và truy cập dữ liệu. Delta UniForm cho phép khởi tạo metadata Iceberg nguyên tử khi tạo bảng, nhưng mô-đun delta‑iceberg_2.13 chỉ hỗ trợ Spark 4.1, chưa hỗ trợ Spark 4.2, do đó cần lưu ý sự không tương thích khi sử dụng Spark 4.2. Delta Flink cung cấp các artifact riêng cho Flink 2.0.2‑2.3.0, hỗ trợ upsert khóa chính qua merge‑on‑read và deletion vectors, đọc changelog có khóa từ Kafka (ví dụ RedPanda) và tích hợp UC Delta API, mở rộng khả năng xử lý streaming có giao thức nhất quán.

Để nắm bắt các cải tiến mới trong Delta Lake 4.4 — như tích hợp Spark 4.2, UniForm, API UC Delta và các tính năng quản lý bảng nâng cao — giúp tối ưu hoá hiệu suất và tính bảo mật trong môi trường lakehouse

A Tale of Two Flink Autoscalers

Netflix đã triển khai một bộ điều phối Flink nội bộ mà dựa trên mức sử dụng CPU và độ trễ xử lý luồng để tự động thay đổi số lượng task slot, nhưng việc duy trì mã nguồn này đòi hỏi nhiều công sức từ đội SRE và làm tăngภาระ vận hành. Họ đã thử nghiệm chuyển sang giải pháp mã nguồn mở – cụ thể là kết hợp Kubernetes Horizontal Pod Autoscaler (HPA) với một metric adapter tùy chỉnh để đưa ra các chỉ số Flink như throughput và thời gian checkpoint – để thay đổi kích thước cluster dựa trên đặc điểm thực tế của luồng dữ liệu. Sau thời gian chạy song song, bộ điều phối open source cho thấy khả năng mở rộng trạng thái ổn định hơn, giảm hiện tượng overscale do chỉ dựa trên CPU và giảm chi phí compute cũng như thời gian phản hồi khi tải tăng đột ngột. Kết quả cho thấy việc sử dụng metric cụ thể của Flink (

Bài viết tiết lộ những bài quý giá về việc chuyển đổi từ autoscaler tự phát sang giải pháp mã nguồn mở giúp lập trình viên tối ưu hóa cơ sở hạ tầng và chi phí Flink hiệu quả.

New in Confluent Cloud and WarpStream: Evolving the Data Streaming Platform for AI, Scale, and Control

Confluent Cloud và WarpStream vừa ra mắt loạt cập nhật mới nhằm tối ưu hóa workloads streaming và AI cho doanh nghiệp, bao gồm Kora, connectors, Flink, Tableflow, tính năng phát hiện bất thường và dự báo bằng AI, cũng như cải tiến bảo mật.

Lập trình viên phát triển ứng dụng AI hoặc xử lý dữ liệu thực thời nên đọc bài này để khám phá cách Confluent Cloud và WarpStream nâng cấp hiệu suất, độ tin cậy và tính mở rộng cho các pipeline dữ liệu phức tạp, đặc biệt là trong việc tích hợp AI và xử lý thời gian thực.

New in Confluent Intelligence and AI Tools: Making Agents Native to the Stream, Expanded Model Support, New Agent Skills, and Copilot

Explore new AI features and AI tools: support for IBM Granite Time Series models and TimesFM models (EA), enhanced Real-Time Context Engine experience, new Agent Skills, Confluent Copilot

Flink: Programmatic Capabilities for Developers and dbt/SQL-Native for Data Practitioners

Flink cung cấp khả năng lập trình cho nhà phát triển qua Table API, UDFs và PTFs, đồng thời hỗ trợ nền tảng native SQL tích hợp dbt dành cho các nhóm khoa học dữ liệu và AI.

Là người phát triển cần hiểu cách kết hợp Flink với các công cụ lập trình phức tạp như UDF/PTF để tối ưu hóa quy trình xử lý dữ liệu thực thời, đồng thời so sánh với dbt để chọn lựa công cụ phù hợp với quy mô và yêu cầu của dự án.

Approaches to Streaming Data into Apache Iceberg Tables

Việc streaming data vào Apache Iceberg giải quyết khoảng cách bằng cách commit dữ liệu theo định kỳ, nhưng commit thường xuyên dẫn đến vấn đề small file, buộc phải cân bằng giữa tính tươi mới của dữ liệu và sức khỏe bảng.

Một lập trình viên cần đọc bài này để hiểu cách tối ưu hóa việc lưu trữ dữ liệu поток (streaming) vào Iceberg mà không phải lo lắng về vấn đề small file và cân bằng giữa độ tươi mới của dữ liệu với hiệu suất của bảng dữ liệu.