Advancing the Open Lakehouse with Apache Spark, the Delta Kernel, and the new UC Delta APIs

Delta Lake 4.4.0 mở rộng kiến trúc bảng được quản lý bởi catalog với các cải tiến trên Delta Spark, Kernel, UniForm, Sharing và Flink. Delta Spark chuyển mặc định sang Apache Spark 4.2 (vẫn hỗ trợ 4.1.0 và 4.0.1) và bổ sung cột identity/generated trong SQL DDL, hỗ trợ SHOW PARTITIONS và giữ nguyên cột VOID. Khi kết hợp với Unity Catalog 0.6.0, người dùng có thể tạo các view số liệu được quản lý trên các bảng Delta được catalog quản lý, nâng cao khả năng kiểm soát và truy cập dữ liệu. Delta UniForm cho phép khởi tạo metadata Iceberg nguyên tử khi tạo bảng, nhưng mô-đun delta‑iceberg_2.13 chỉ hỗ trợ Spark 4.1, chưa hỗ trợ Spark 4.2, do đó cần lưu ý sự không tương thích khi sử dụng Spark 4.2. Delta Flink cung cấp các artifact riêng cho Flink 2.0.2‑2.3.0, hỗ trợ upsert khóa chính qua merge‑on‑read và deletion vectors, đọc changelog có khóa từ Kafka (ví dụ RedPanda) và tích hợp UC Delta API, mở rộng khả năng xử lý streaming có giao thức nhất quán.