Pinterest Uses Event Time Watermarks to Finalize Petabyte Scale Data Partitions

Your Business, Always Current. Streamhouse - The Data Architecture for the Age of AI.

To make accurate decisions at machine speed, we need to maintain the state of the business as it changes. It needs to be always current, decentralized across systems that already run the business, and dependable for software to act on it. The architecture that makes this possible is the Streamhouse.

The strangler fig pattern: modernizing without a big-bang rewrite

The strangler fig pattern hiện đại hóa hệ thống legacy bằng cách thay thế từng phần nhỏ thay vì viết lại toàn bộ cùng lúc. Bài gốc chỉ ra vấn đề về quyền sở hữu dữ liệu trong giai đoạn chồng chéo, chi phí vận hành song song hai hệ thống, và lý do các dự án migration thường bị ì tại giai đoạn cuối. Những con số cụ thể về chi phí và timeline không được đề cập trong tài liệu tham khảo. Lập trình viên nên đọc bài gốc để hiểu rõ các rủi ro thực tế và chiến lược xử lý khi áp dụng pattern này vào dự án.

Bài này giúp lập trình viên hiểu thách thức thực tế khi áp dụng Strangler Fig pattern, đặc biệt là vấn đề sở hữu dữ liệu và chi phí vận hành hệ thống song song.

Delta Kernel (Rust) and the future of the Lakehouse.

Delta Kernel là thư viện dựa trên Rust từ Databricks và đội ngũ Delta Lake, cung cấp API thống nhất để đọc và ghi vào Delta table. Các công cụ như DuckDB và Polars gặp khó khăn khi theo kịp các thay đổi không tương thích ngược của Delta Protocol như deletion vectors, vấn đề mà Delta Kernel giải quyết. Tác giả xây dựng một CLI nhỏ bằng Rust sử dụng Delta Kernel để nhập CSV vào Delta table trên S3 và xuất Delta table sang Parquet, bao gồm snapshot creation, schema checks, transactions và commits. Delta Kernel được định vị là cơ sở hạ tầng nền tảng, tương tự DataFusion, mà các công cụ khác sẽ ngày càng dựa vào, cùng với các Rust crate mới cho Unity Catalog.

Delta Kernel cung cấp API thống nhất để đọc và ghi Delta tables, giải quyết vấn đề tương thích với các thay đổi protocol như deletion vectors.

Monolith to Service Architecture

Di chuyển từ kiến trúc monolith sang microservices cần áp dụng các pattern cụ thể thay vì viết lại toàn bộ. Bốn chiến lược chính gồm: Strangler Fig (dần dần chuyển lưu lượng qua API gateway), Parallel Run (chạy song song để kiểm chứng), Collaborator (thêm microservices mới mà không sửa core), và Change Data Capture (đồng bộ dữ liệu real-time bằng Debezium/Kafka Connect). Các pattern này hiệu quả nhất khi kết hợp theo trình tự trong quá trình chuyển đổi.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ kiến trúc monolith sang microservices một cách chỉnh xác, ít rủi ro và tối ưu hóa hiệu suất, không phải là một thay đổi đột ngột mà là một quá trình thuần túy, có kế hoạch với các mẫu thiết kế hiệu quả.

AWS Glue Data Catalog now supports Apache Iceberg table optimization in the US West (N. California) Region

Discover more about what's new at AWS with AWS Glue Data Catalog now supports Apache Iceberg table optimization in the US West (N. California) Region

Apache Iceberg on AWS, Part 1: What It Is, Why You Need It, and How It Works

Apache Iceberg đang trở thành giải pháp quản lý dữ liệu lớn trên AWS, giải quyết vấn đề giới hạn của format truyền thống như Parquet hay ORC. Công nghệ này sử dụng schema-on-read và manifest file để hỗ trợ schema evolution và time travel, cho phép truy vấn dữ liệu hiệu quả mà không cần rewrite toàn bộ dataset. Hệ quả là giảm 40% chi phí storage và tăng 60% hiệu suất query trên các datasets hàng petabyte tại Netflix. Điểm đáng học là Iceberg tương thích hoàn toàn với Spark, Flink và Presto, cho phép doanh nghiệp hiện đại hóa data lake mà không cần thay đổi stack xử lý hiện tại.

Bài viết giúp lập trình viên hiểu rõ khái niệm Apache Iceberg trên AWS, nền tảng quan trọng cho xử lý dữ liệu lớn hiện đại.

Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day

Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.

Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.

How Ridgeline unified Iceberg and ClickHouse into one analytics layer for investment management

Ridgeline xây dựng lại hệ thống phân tích hiệu suất trên nền tảng ClickHouse Cloud, truy vấn hàng thập kỷ dữ liệu lịch sử từ Iceberg cùng với dữ liệu thời gian thực. Giải pháp này cho phép phục vụ các nhà quản lý đầu tư lớn gấp 10 lần so với trước đây và hơn gấp đôi số lượng khách hàng hoạt động trên nền tảng của mình. Sự kết hợp giữa Iceberg và ClickHouse cho phép xử lý cả dữ liệu lịch sử lẫn dữ liệu gần đây một cách hiệu quả, tạo ra một lớp phân tích thống nhất cho quản lý đầu tư. Điều đáng học hỏi là sự tích hợp thành công giữa hai công nghệ dữ liệu khác nhau (data lake và OLAP) để giải quyết bài toán quy mô lớn trong lĩnh vực tài chính.

Bài viết này giúp lập trình viên hiểu cách tích hợp Iceberg và ClickHouse để nâng cao hiệu quả phân tích dữ liệu tài chính.