#apache-iceberg

DuckDB Just Put a $400K/Year Skill on Your Laptop

Bối cảnh: Khi các stack dữ liệu hiện đại như Iceberg + dbt thường đòi hỏi chi phí đám mây hàng chục nghìn đô mỗi năm, nhiều lập trình viên tìm cách luyện tập mà không tốn tiền. Nguyên nhân kỹ thuật: DuckDB là một hệ quản trị cơ sở dữ liệu OLAP trong tiến trình, vừa hỗ trợ đọc ghi bảng Apache Iceberg qua extension, vừa có thể chạy dbt Core như một plugin local. Hệ quả: Nhờ đó, một máy laptop có thể mô phỏng toàn bộ pipeline lakehouse – từ ingest, transform cho tới test – mà không cần tài khoản AWS, Azure hoặc GCP, từ đó giảm chi phí thực hành xuống gần zero. Điều đáng học: Khi thành thạo việc kết hợp DuckDB, Iceberg extension và dbt locally, bạn đã nắm được kỹ năng mà các công ty trả lương hàng năm lên tới 400.000 USD cho vị trí Data Engineer, mà không phải đầu tư vào dịch vụ đám mây. Bài viết khuyên bạn nên cài đặt DuckDB, thêm extension iceberg và khởi dbt dự án mẫu để bắt đầu thực hành ngay hôm nay.

DuckDB cho phép bạn thực hành stack data engineering trị giá 400K USD ngay trên laptop mà không cần chi phí cloud.

Observe on Apache Iceberg: Unlocking Open Observability

Snowflake giới thiệu Observe trên Apache Iceberg ở chế độ private preview, cho phép lưu trữ telemetry dưới dạng bảng Iceberg mở trong S3 riêng, truy vấn được bởi bất kỳ engine nào.

Lập trình viên muốn tối ưu hóa quản lý dữ liệu và phát triển ứng dụng theo tiêu chuẩn mở sẽ tìm hiểu Apache Iceberg để khám phá cách lưu trữ và truy vấn dữ liệu hiệu quả hơn với Snowflake, giúp tiết kiệm chi phí và mở rộng khả năng tích hợp với các công cụ khác.

Snowflake Catalog Linked Database (CLD): Breaking Data Silos Without Moving Data

Snowflake Catalog Linked Database (CLD): Breaking Data Silos Without Moving Data Modern enterprises rarely keep all of their data in a single platform. Instead, their data ecosystems span cloud …

Borderless Lakehouse cross-cloud caching and connections

In the borderless Lakehouse, cross-cloud caching reduces data transfers, and BigQuery cross-cloud connections enables querying data in other clouds.

Apache Iceberg 1.12 and Rust 0.11: What's New

Apache Iceberg 1.12 giới thiệu tính năng types địa lý và Variant shredding, cùng với khả năng encryption mới. Phiên bản Iceberg Rust 0.11 đã triển khai sẵn cơ sở hạ tầng cho phiên bản V4. Sự thay đổi đáng chú ý nhất là việc loại bỏ một số API cũ trong bản release này. Nếu bạn làm việc với big data hoặc xây dựng hệ thống phân tích, các cải tiến này sẽ giúp tối ưu hiệu suất và bảo mật dữ liệu.

Apache Iceberg 1.12 và Rust 0.11 mang đến nhiều cải tiến quan trọng về kiểu dữ liệu địa không gian, mã hóa và nền tảng V4 giúp bạn tối ưu hóa hệ thống dữ liệu hiệu quả hơn.

Run DuckDB analytics on your Amazon DynamoDB data with zero-ETL

AWS demonstrates a zero-ETL architecture for running ad hoc SQL analytics on DynamoDB data using DuckDB. A zero-ETL integration replicates DynamoDB tables into Apache Iceberg format on Amazon S3 Tables via change data capture, and an AWS Lambda function running DuckDB serves SQL queries through an IAM-authorized function URL, avoiding custom ETL pipelines. The walkthrough covers deployment via a CDK construct, sample data seeding, query performance (around 400ms warm, 3s cold start), security lockdown of the DuckDB engine, cost breakdown, and considerations like refresh interval freshness, response size limits, and Region availability.

Data Lakehouse vs Medallion Architecture

A lakehouse is an architecture and medallion is a layering convention, so they do not compete. The real question is how many layers deserve a physical copy.

Apache Polaris with PyIceberg: A Guide

Apache Polaris kết hợp với PyIceberg giúp lập trình viên thực hiện filter push-down thay vì xử lý trong pandas, tối ưu hóa hiệu suất truy vấn dữ liệu lớn. Công nghệ này cho phép kiểm tra metadata và bảo trì Iceberg hoàn toàn từ Python mà không cần cluster phức tạp, giảm đáng kể chi phí vận hành. Bài viết hướng dẫn chi tiết cách thiết lập kết nối giữa PyIceberg và Polaris, tận dụng sức mạnh của Catalog API để quản lý partition và schema. Giải pháp này đặc biệt hữu ích cho các hệ thống data pipeline cần xử lý lượng dữ liệu lớn trên các môi trường đám mây như AWS, Azure hoặc GCP. Lập trình viên sẽ học được cách tận dụng Polaris để kiểm soát quyền truy cập và chính sách bảo mật dữ liệu thông qua REST API.

Tối ưu hóa hiệu suất phân tích dữ liệu bằng cách tận dụng Apache Polaris và PyIceberg ngay trên Python mà không cần cluster.

Apache Polaris with Apache Flink: A Guide

How to connect Apache Flink to Apache Polaris as an Iceberg REST catalog, why every checkpoint becomes a snapshot, and the settings that matter in production.

Unifying governance across engines and catalogs in the Open Lakehouse

The Apache Iceberg community has adopted two new REST Catalog specs, read restrictions and catalog labels, that extend the Open Lakehouse governance vision. Read restrictions let a catalog delegate policy enforcement to a trusted external engine (like a securely configured Trino) by returning column-projection actions and row-filter expressions rather than raw policy definitions, though the spec deliberately leaves trust establishment outside its scope. Catalog labels let federated catalogs (Unity Catalog, Snowflake, AWS Lake Formation, Google Cloud Knowledge Catalog) exchange lightweight key-value metadata such as PII classifications, which the consuming catalog maps into its own native policy model and enforces locally. Neither mechanism replaces centralized enforcement approaches like Databricks' Cross-Engine ABAC for untrusted engines such as user-controlled Spark or DuckDB; instead the three approaches are complementary depending on whether the destination is an untrusted engine, a trusted engine, or another catalog.

Amazon Redshift RG instances now available in Europe (Zurich) Region

Discover more about what's new at AWS with Amazon Redshift RG instances now available in Europe (Zurich) Region

Apache Iceberg Orphan File Cleanup Explained

Apache Iceberg orphan files là các file dữ liệu không được tham chiếu bởi bất kỳ snapshot nào. Chúng xuất hiện khi các tác vụ như compaction, schema evolution hoặc rollbacks tạo ra các phiên bản table mới mà không xóa file cũ. Iceberg sử dụng một process cleanup định kỳ để quét các file không được reference, nhưng có thể gây lỗi nếu phát hiện path mismatch giữa thực tế và metadata. Lập trình viên cần hiểu cơ chế này để tránh mất dữ liệu do xóa nhầm live table.

Bài này giải thích cách Apache Iceberg quản lý và dọn dẹp tệp mù, giúp lập trình viên tránh mất dữ liệu do xóa nhầm bảng đang hoạt động.

Apache Iceberg Snapshot Expiration Explained

What Apache Iceberg snapshot expiration actually deletes, the properties that control it, how to run it on Spark, and the mistakes that cost you rollback.

Apache Iceberg Manifest Files Explained

How Apache Iceberg manifest files work: what a manifest entry contains, the two stages of pruning they enable, and why manifests get merged.

DuckLake: The Lakehouse That's Just SQL and Parquet

How many files does your query read before it reads any data? On some data lakes, you go through JSON and metadata files first, just to learn which Parquet files matter. DuckLake asks one SQL question instead. The metadata lives in a ...

The Apache Polaris REST API Explained

How the Apache Polaris REST API works: the endpoint surface, the assertion-based commit protocol, and three ways clients get storage access.

Choosing an Apache Iceberg Catalog

Compare Apache Polaris, Gravitino, Unity Catalog, Lakekeeper, Nessie, Glue and Hive Metastore on governance, real activity and federation.

Apache Polaris Architecture Explained

Apache Polaris architecture: the entity model, realm isolation, the path from loadTable to a scoped storage credential, and catalog federation.

Apache Iceberg Compaction Best Practices

Bài viết của Jonathan Saring trên ITNEXT giải thích bối cảnh tại sao việc thực hiện compaction trong Apache Iceberg trở nên cần thiết khi dữ liệu được ghi liên tục sinh ra nhiều file nhỏ. Nó chỉ ra nguyên nhân kỹ thuật là sự tăng trưởng không kiểm soát của manifest và các data files khiến quá trình planning query phải duyệt qua nhiều metadata, tăng overhead. Hệ quả trực tiếp là giảm throughput truy vấn và tăng chi phí lưu trữ vì hệ thống phải đọc và xử lý thêm lượng dữ liệu không cần thiết. Bài viết khuyên nên áp dụng chiến lược compaction dựa trên kích thước file và tần suất commit để giữ số lượng file trong mức hợp lý. Tuy nhiên, tác giả không cung cấp con số đo lường cụ thể về mức độ cải thiện hiệu suất hoặc giảm chi phí sau khi áp dụng các phương pháp này.

Bài viết này cung cấp hướng dẫn thực tế tối ưu hóa hiệu suất Apache Iceberg thông qua chiến lược compaction hiệu quả.

State of the Open Lakehouse, September 2026

The state of the open lakehouse in September 2026 is a stack that stopped arguing about whether it won and started dealing with the consequences of winning.

Amazon Redshift now supports Apache Iceberg v3 tables

Discover more about what's new at AWS with Amazon Redshift now supports Apache Iceberg v3 tables

AWS Data Engineer Associate: Exam Tips and real life scenarios

AWS Data Engineer Associate: Exam Tips and real life scenarios Golden Jacket Field Notes . Week 20 I passed the AWS Certified Data Engineer Associate in the second half of last year with one minute …

Log-first or Table-first? Apache Kafka, Fluss, and Streaming Tables

Explore the architectural differences between log-first systems like Apache Kafka and table-first engines like Apache Fluss for streaming data pipelines.

Couchbase Analytics + Apache Iceberg on Google Cloud: Query Your Lakehouse Without ETL

Query Apache Iceberg tables on Google Cloud with Couchbase Analytics. No ETL, no data movement, SQL++ queries, and snapshot-based time travel included.

Dynamic Tables Just Got Faster and Far More Flexible — PART 2

Dynamic Tables Just Got Faster and Far More Flexible — PART 2 A hands-on guide to Snowflake’s 2026 Dynamic Tables updates — with every example run against a live account. Disclaimer: I am …

Announcing Polars 1.44

Polars 1.44 brings Iceberg schema evolution on sink, an adaptive rate limiter for cloud I/O, and correlated subqueries in the SQL layer.

Migrating to Apache Iceberg: Strategies for Every Source System

This article covers the three migration strategies and how to execute a zero-downtime migration using the view swap pattern.

Debezium in Production: PostgreSQL to Kafka to Iceberg CDC Patterns That Actually Work

A production deep-dive into the PostgreSQL to Kafka to Iceberg CDC path with Debezium: pgoutput logical decoding, replication slots, snapshot strategies, throughput tuning, delivery guarantees, and Iceberg sink options.

Maintaining Apache Iceberg Tables: Compaction, Snapshots, Metadata and Orphan Files

Bài viết giải thích tại sao việc duy trì bảng Apache Iceberg là cần thiết để tránh suy giảm hiệu suất và lãng phí lưu trữ khi dữ liệu tăng trưởng. Nguyên nhân kỹ thuật chủ yếu là sự tích tụ của nhiều file Parquet nhỏ, các snapshot cũ không được xoá và metadata JSON lớn lên do mỗi lần ghi tạo ra bản ghi mới. Hệ quả là thời gian truy vấn tăng vì planner phải quét nhiều file hơn, đồng thời dung lượng storage tăng đáng kể do các file mồ côi (orphan files) và metadata dư thừa. Bài hướng dẫn cụ thể các quy trình bảo trì như gọi CALL system.rewrite_data_files để nén file nhỏ, CALL system.expire_snapshots để xoá snapshot cũ (mặc định giữ 5 ngày) và CALL system.remove_orphan_files để dọn dong file không còn được tham chiếu. Điều đáng học là nên lên lịch chạy các thủ tục này định kỳ, theo dõi kích thước metadata và số lượng file qua bảng hệ thống iceberg.snapshots và để cân bằng giữa chi phí lưu trữ và hiệu suất truy vấn.

AWS Glue 6.0 now available with 30% lower price and full Apache Iceberg v3 support

AWS Glue 6.0 vừa được ra mắt chung với mức giá giảm 30% so với phiên bản trước và hỗ trợ đầy đủ Apache Iceberg v3 (phiên bản Iceberg 1.11.0). Bản bản được xây trên Spark 4.1, Python 3.12, Scala 2.13, giới thiệu kiểu dữ liệu VARIANT với shredding để truy vấn dữ liệu bán cấu trúc mà không cần làm phẳng schema, cùng với kiểu geometry/geography, timestamp nanosecond và xử lý unknown type. Ngoài ra, Glue 6.0 cung cấp Spark declarative pipelines, Arrow-native Python UDF/UDTF và chế độ streaming real-time với độ trễ một chữ số mili giây, tất cả này không thay đổi API; công việc hiện có chỉ cần chọn --glue-version 6.0 hoặc được tự động nâng cấp bằng Spark upgrade agent. Việc giảm giá đồng thời nâng cấp stack và tích hợp tính năng Iceberg v3 cho thấy AWS đang ưu tiên hiệu suất chi phí và khả năng làm việc với dữ liệu phân tích hiện đại, điều mà các nhóm dữ liệu nên cân nhắc khi lên kế hoạch nâng cấp ETL.

Bài viết này giúp lập trình viên tiết kiệm 30% chi phí và tận dụng công nghệ dữ liệu hiện đại nhất với AWS Glue 6.0.

AWS Glue 6.0 delivers 30% price reduction and Iceberg v3 support

AWS Glue 6.0 là phiên bản mới nhất của dịch vụ ETL quản lý hoàn toàn trên AWS, ra mắt với mục tiêu giảm chi phí và mở rộng khả năng làm việc với bảng dữ liệu hiện đại. Bản cập nhật này giảm giá sử dụng lên tới 30% nhờ tối ưu hóa mức tiêu thụ DPU và cải thiện thuật toán lập lịch job. Đồng thời, Glue 6.0 thêm hỗ trợ đầy đủ cho Apache Iceberg phiên bản 3, cho phép người dùng khai thác tính năng ẩn phân vùng, évolution schema và time‑travel mà không cần quản lý catalog riêng. Kết quả là các quy trình ETL chạy trên Glue có thể tiết kiệm đáng kể về chi phí vận hành đồng thờiGain được linh hoạt hơn trong việc lưu trữ và truy vấn dữ liệu lớn trên S3. Đối với lập trình viên đang cân nhắc đọc bài gốc, thông tin về mức giảm giá cụ thể và phiên bản Iceberg được hỗ trợ là yếu tố then chốt để đánh giá giá trị nâng cấp hoặc chuyển đổi sang Glue 6.0.

Bài viết này giúp lập trình viên tiết kiệm chi phí 30% khi sử dụng AWS Glue 6.0 và tận dụng tính năng hỗ trợ Iceberg v3 cho hệ thống dữ liệu hiệu quả hơn.

The Iceberg Catalog Layer Explained: Snowflake Horizon, Open Catalog, Polaris, Glue and Nessie Compared

Bài viết so sánh các lớp catalog Iceberg including Snowflake Horizon, Open Catalog, Polaris, Glue và Nessie.

Bài viết này giúp lập trình viên hiểu sâu về các lớp catalog của Iceberg và lựa chọn công cụ phù hợp cho hệ thống dữ liệu của mình.

Enterprise AI Will Be a Network, Not a Monolith

Các mô hình ngôn ngữ nhỏ kết hợp với cơ sở dữ liệu thời gian thực sẽ tạo nên hệ thống AI doanh nghiệp dưới dạng mạng phân tán thay vì khối đơn lẻ, giúp xử lý dữ liệu trực tiếp, giảm chi phí và ghi kết quả ngay lập tức.

Lập trình viên cần đọc bài này để hiểu cách xây dựng hệ thống AI hiệu quả hơn bằng cách tách rời mô hình nhỏ (LLM) với cơ sở dữ liệu thực thời, giúp tối ưu hóa chi phí, tăng tốc độ phản ứng và xử lý logic AI trên dữ liệu động thay vì phụ thuộc vào kiến trúc monolith đắt tiền.

Lakehouse runtime catalog helps modernize Apache Hive

Google Cloud Lakehouse runtime catalog provides a runnable, zero-data-copy migration to transition your production Apache Hive tables.

Open Data Lakehouse: A Practical Guide

Bài viết "Open Data Lakehouse: A Practical Guide" của Jonathan Saring trên ITNEXT giới thiệu hướng dẫn thực tế về kiến trúc Data Lakehouse mở, kết hợp ưu điểm của data lake và data warehouse.

Lập trình viên chuyên về xử lý dữ liệu nên đọc bài này để hiểu cách kết hợp Data Lakehouse—một giải pháp hiện đại—với các công cụ như Apache Iceberg, Delta Lake để tối ưu hóa quản lý, phân tích và bảo mật dữ liệu trong môi trường cloud hoặc on-premise.

PgColumnar 1.0Alpha2 released — CommandPrompt Inc.

PgColumnar 1.0 Alpha2 vừa được phát hành ngày 18/8/2026, bổ sung tính năng truy cập dữ liệu dạng cột (columnar) cho PostgreSQL, sau bản 1.0 Alpha đầu tiên ra mắt ngày 4/8/2026.

Là người phát triển PostgreSQL, bạn nên tìm hiểu PgColumnar để khám phá cách tối ưu hóa hiệu suất truy vấn cho các bảng lớn bằng cách chuyển đổi từ dạng hàng sang dạng cột, giúp giảm chi phí I/O và tăng tốc xử lý phân tích dữ liệu.

Unlocking real-time analytics: Streaming Aurora DSQL changes into Apache Iceberg

A walkthrough demonstrates streaming Amazon Aurora DSQL change data capture (CDC) events into Apache Iceberg tables stored on Amazon S3 via Amazon Data Firehose, queryable through Amazon Athena. The design uses two Iceberg tables: an append-only cdc_events audit trail ordered by transaction commit timestamp, and a current_state table that merges rows by primary key with tombstone flags for deletes. It covers handling out-of-order CDC delivery, reconstructing a strictly correct current state from cdc_events, deployment via a CloudFormation stack, and exploring results with a Streamlit dashboard.

Hands-On with Apache Iceberg Using Dremio Cloud

Bài viết hướng dẫn thực hành sử dụng Apache Iceberg trên Dremio Cloud, từ tạo bảng, nhập dữ liệu, tối ưu hóa, xây dựng lớp ngữ nghĩa đến phân tích AI.

Một lập trình viên cần đọc bài này để hiểu cách triển khai và tối ưu hóa lưu trữ dữ liệu theo tiêu chuẩn Iceberg trên nền tảng cloud, giúp tự động hóa việc quản lý schema, xử lý dữ liệu lớn và tích hợp AI/ML một cách hiệu quả.

Approaches to Streaming Data into Apache Iceberg Tables

Việc streaming data vào Apache Iceberg giải quyết khoảng cách bằng cách commit dữ liệu theo định kỳ, nhưng commit thường xuyên dẫn đến vấn đề small file, buộc phải cân bằng giữa tính tươi mới của dữ liệu và sức khỏe bảng.

Một lập trình viên cần đọc bài này để hiểu cách tối ưu hóa việc lưu trữ dữ liệu поток (streaming) vào Iceberg mà không phải lo lắng về vấn đề small file và cân bằng giữa độ tươi mới của dữ liệu với hiệu suất của bảng dữ liệu.

Zero-Copy Data Architecture: Snowflake Summit 2026

Kiến trúc dữ liệu zero-copy kết hợp với AI doanh nghiệp giúp lãnh đạo giảm chi phí, phân tích dữ liệu phi cấu trúc và đưa ra quyết định nhanh hơn.

Lập trình viên nên đọc bài này để hiểu cách thiết kế hệ thống hiệu quả hơn bằng kiến thức zero-copy, giúp tối ưu hóa hiệu suất và giảm chi phí khi xây dựng giải pháp tích hợp AI và xử lý dữ liệu dày đặc.