What’s New in Q4’26 Confluent Data Streaming Platform: The Most Complete, Performant, and Open Foundation for Streamhouse

Your Business, Always Current. Streamhouse - The Data Architecture for the Age of AI.

To make accurate decisions at machine speed, we need to maintain the state of the business as it changes. It needs to be always current, decentralized across systems that already run the business, and dependable for software to act on it. The architecture that makes this possible is the Streamhouse.

Delta Kernel (Rust) and the future of the Lakehouse.

Delta Kernel là thư viện dựa trên Rust từ Databricks và đội ngũ Delta Lake, cung cấp API thống nhất để đọc và ghi vào Delta table. Các công cụ như DuckDB và Polars gặp khó khăn khi theo kịp các thay đổi không tương thích ngược của Delta Protocol như deletion vectors, vấn đề mà Delta Kernel giải quyết. Tác giả xây dựng một CLI nhỏ bằng Rust sử dụng Delta Kernel để nhập CSV vào Delta table trên S3 và xuất Delta table sang Parquet, bao gồm snapshot creation, schema checks, transactions và commits. Delta Kernel được định vị là cơ sở hạ tầng nền tảng, tương tự DataFusion, mà các công cụ khác sẽ ngày càng dựa vào, cùng với các Rust crate mới cho Unity Catalog.

Delta Kernel cung cấp API thống nhất để đọc và ghi Delta tables, giải quyết vấn đề tương thích với các thay đổi protocol như deletion vectors.

AWS Glue Data Catalog now supports Apache Iceberg table optimization in the US West (N. California) Region

Discover more about what's new at AWS with AWS Glue Data Catalog now supports Apache Iceberg table optimization in the US West (N. California) Region

MQTT Doesn't Have Message Queues. Inside the 2-Byte Protocol Powering Modern IoT.

A visual, 10-minute architectural deep dive into MQTT. Learn how the 2-byte binary wire protocol, QoS 0/1/2 handshakes, topic trees, Last Will and Testament, and MQTT v5 Shared Subscriptions actually deliver IoT telemetry under the hood. Tagged with iot, networking, architecture, mqtt.

Apache Iceberg on AWS, Part 1: What It Is, Why You Need It, and How It Works

Apache Iceberg đang trở thành giải pháp quản lý dữ liệu lớn trên AWS, giải quyết vấn đề giới hạn của format truyền thống như Parquet hay ORC. Công nghệ này sử dụng schema-on-read và manifest file để hỗ trợ schema evolution và time travel, cho phép truy vấn dữ liệu hiệu quả mà không cần rewrite toàn bộ dataset. Hệ quả là giảm 40% chi phí storage và tăng 60% hiệu suất query trên các datasets hàng petabyte tại Netflix. Điểm đáng học là Iceberg tương thích hoàn toàn với Spark, Flink và Presto, cho phép doanh nghiệp hiện đại hóa data lake mà không cần thay đổi stack xử lý hiện tại.

Bài viết giúp lập trình viên hiểu rõ khái niệm Apache Iceberg trên AWS, nền tảng quan trọng cho xử lý dữ liệu lớn hiện đại.

Cloudflare K2 Builds Event Streams on R2 Object Storage, at a Second of Produce Latency

Cloudflare vừa ra mắt K2 trong giai đoạn beta công khai, đây là dịch vụ streaming sự kiện serverless triển khai trên R2 object storage. Dịch vụ đạt độ trễ (latency) khi tạo sự kiện khoảng 1 giây ở mức p99. K2 sử dụng một kiến trúc log bền vững dựa trên R2 object storage, giúp giảm đáng kể độ trễ so với các giải pháp truyền thống. Hệ thống này cho phép developers xây dựng ứng dụng xử lý sự kiện với hiệu năng cao và chi phí hợp lý. Bài viết cung cấp cái nhìn chi tiết về cách K2 tối ưu hóa hiệu suất trên nền tảng lưu trữ object thông thường.

Cloudflare K2 mang đến dịch vụ streaming event với độ trễ chỉ một giây, tối ưu hóa hiệu suất cho nhà phát triển.

Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day

Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.

Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.

How Ridgeline unified Iceberg and ClickHouse into one analytics layer for investment management

Ridgeline xây dựng lại hệ thống phân tích hiệu suất trên nền tảng ClickHouse Cloud, truy vấn hàng thập kỷ dữ liệu lịch sử từ Iceberg cùng với dữ liệu thời gian thực. Giải pháp này cho phép phục vụ các nhà quản lý đầu tư lớn gấp 10 lần so với trước đây và hơn gấp đôi số lượng khách hàng hoạt động trên nền tảng của mình. Sự kết hợp giữa Iceberg và ClickHouse cho phép xử lý cả dữ liệu lịch sử lẫn dữ liệu gần đây một cách hiệu quả, tạo ra một lớp phân tích thống nhất cho quản lý đầu tư. Điều đáng học hỏi là sự tích hợp thành công giữa hai công nghệ dữ liệu khác nhau (data lake và OLAP) để giải quyết bài toán quy mô lớn trong lĩnh vực tài chính.

Bài viết này giúp lập trình viên hiểu cách tích hợp Iceberg và ClickHouse để nâng cao hiệu quả phân tích dữ liệu tài chính.