#data-lake

How Goldsky Serves Billions of Sub-10 ms Lookups from One Copy of the Chain

Goldsky xây dựng Prism, một blockchain data lake có bản sao địa lý, dựa trên nền tảng Tigris. Hệ thống TAG (Tigris Acceleration Gateway) xử lý các truy vấn historical point trong khoảng 9ms mà không cần sao chép database đến từng khu vực. Giải pháp này đạt hiệu suất cao nhờ cơ chế geo-replication và caching thông minh. Đáng học hỏi là cách Goldsky tối ưu hóa truy vấn điểm (point lookups) mà vẫn duy trì độ chính xác dữ liệu blockchain. Phương pháp này giảm thiểu chi phí infrastructure trong khi đáp ứng nhu cầu truy cập toàn cầu với độ trễ cực thấp.

Goldsky giúp lập trình viên hiểu cách phục vụ hàng tỷ truy vấn dưới 10ms từ một bản sao dữ liệu blockchain.

ClickHouse now writes Apache Iceberg tables to Microsoft OneLake

ClickHouse vừa tích hợp khả năng ghi trực tiếp vào Microsoft OneLake, dịch vụ data lake thống nhất trong Microsoft Fabric. Tính năng này cho phép ClickHouse ghi dữ liệu vào tables Apache Iceberg trên OneLake mà không cần middleware. Giải pháp sử dụng ClickHouse Iceberg table engine để hỗ trợ ghi dữ liệu vào Iceberg tables trong OneLake. Đây là bước hợp tác quan trọng giữa hai nền tảng dữ liệu lớn, giúp đơn giản hóa kiến trúc data pipeline và tăng tính linh hoạt cho người dùng làm việc với big data.

ClickHouse now writes Apache Iceberg tables to Microsoft OneLake mở ra khả năng tích hợp dữ liệu trực tiếp với Microsoft Fabric, giúp lập trình viên tối ưu hóa quy trình xử lý dữ liệu đa nền tảng.

Announcing On-Demand Compute: Instant compute for your most intensive workloads

ClickHouse On-Demand Compute cho phép mở rộng quy mô các query riêng lẻ bằng cách thêm worker, chạy các workload nặng không ảnh hưởng đến production, và sử dụng compute khi cần thiết. Công nghệ này sử dụng các node compute tạm thời để xử lý các tác vụ đòi hỏi tài nguyên cao. Hệ quả là người dùng không cần provisioning tài nguyên cố định mà chỉ trả tiền khi thực sự sử dụng, tiết kiệm chi phí lên đến 70%. Đáng học hỏi là cách ClickHouse tách biệt compute layer khỏi storage layer, cho phép linh hoạt mở rộng mà không ảnh hưởng đến dữ liệu. Giải pháp này đặc biệt hữu ích cho các analytics workload cần burst capacity ngắn hạn.

ClickHouse On-Demand Compute giúp mở rộng quy mô truy vấn và chạy tác vụ nặng mà không ảnh hưởng đến hệ thống sản xuất.

When Should You Use Liquid Clustering? Benchmarking Lakehouse Layout Strategies

Bài viết so sánh Delta Lake với Liquid Clustering và ZOrder, hai công cụ tối ưu hóa dữ liệu trong lakehouse. Nghiên cứu phát hiện hai lỗi không được ghi nhận trong Liquid Clustering khi xử lý workload đọc/ghi lớn, ảnh hưởng hiệu suất. Benchmark cho thấy Liquid Clustering hoạt động tốt với workload đọc nhiều ghi ít, trong khi ZOrder tối ưu cho cả đọc và ghi. Bài cung cấp khung framework giúp lập trình viên chọn chiến lược layout phù hợp với từng loại workload cụ thể.

Bài viết này giúp lập trình viên hiểu được khi nào nên sử dụng Liquid Clustering qua việc so sánh và phát hiện hai lỗi chưa được ghi nhận trong các chiến lược bố trí Lakehouse.

Amazon S3 Tables now support up to 100 table buckets per AWS Region in an AWS account

Discover more about what's new at AWS with Amazon S3 Tables now support up to 100 table buckets per AWS Region in an AWS account

Amazon Connect Customer now provides routing step data in the analytics data lake

Amazon Connect Customer hiện cung cấp dữ liệu bước routing trong analytics data lake, giúp theo dõi chi tiết quy trình xử lý cuộc gọi. Dữ liệu này được ghi nhận tại mỗi step trong contact flow, với timestamp chính xác và duration của từng bước. Hệ quả là doanh nghiệp có thể phân tích điểm nghẽn trong quy trình khách hàng với độ chi tiết từng bước, sử dụng Amazon Athena để truy vấn. Điều đáng học là bạn có thể tối ưu hóa contact flow bằng cách xác định chính xác các bước gây ra độ trễ lớn nhất, từ đó cải thiện trải nghiệm khách hàng.

Bài viết giúp bạn hiểu cách khai thác dữ liệu routing step trong Amazon Connect để tối ưu hóa trải nghiệm khách hàng.

Avoiding Entity Key Drift in a Data Lake: Step 2, When Fuzzy Matching Stops Working

I built a matcher meant to finish the cleanup that normalization left behind. Testing it against real data showed that no version of it could be made safe. What follows is the architecture that was left once the matcher was set aside.

Amazon Redshift now supports Apache Iceberg v3 tables

Discover more about what's new at AWS with Amazon Redshift now supports Apache Iceberg v3 tables