#apache-iceberg

Observe on Apache Iceberg: Unlocking Open Observability

Snowflake giới thiệu Observe trên Apache Iceberg ở chế độ private preview, cho phép lưu trữ telemetry dưới dạng bảng Iceberg mở trong S3 riêng, truy vấn được bởi bất kỳ engine nào.

Lập trình viên muốn tối ưu hóa quản lý dữ liệu và phát triển ứng dụng theo tiêu chuẩn mở sẽ tìm hiểu Apache Iceberg để khám phá cách lưu trữ và truy vấn dữ liệu hiệu quả hơn với Snowflake, giúp tiết kiệm chi phí và mở rộng khả năng tích hợp với các công cụ khác.

9 Apache Spark Alternatives You Should Know in 2026

Năm 2026, ngoài Apache Spark, nhiều công cụ mới nổi lên thay thế trong xử lý dữ liệu, phân tích, stream, machine learning và quản lý lakehouse.

Lập trình viên cần đọc bài này để khám phá những công cụ thay thế hiện đại của Spark, giúp tối ưu hóa hiệu suất, mở rộng khả năng xử lý dữ liệu và thích ứng với xu hướng mới trong công nghệ big data năm 2026.

Full CDC semantics land in the Iceberg output for Redpanda Connect

Iceberg giờ đây hỗ trợ đầy đủ CDC semantics, giúp data lakehouse phản ánh trạng thái thời gian thực của database nguồn thay vì chỉ dữ liệu từ batch đêm qua. Đây là tính năng mới nhất trong Redpanda Connect.

Lập trình viên cần đọc bài này để hiểu cách Redpanda Connect tích hợp CDC (Change Data Capture) với Iceberg để xử lý dữ liệu thay đổi thực thời, giúp họ tối ưu hóa việc đồng bộ hóa và phân tích dữ liệu thời gian thực mà không phụ thuộc vào các batch update cũ.

EDB converges analytics on Postgres to support AI agents

EDB bổ sung khả năng phân tích hội tụ cho dịch vụ cơ sở dữ liệu EDB Postgres AI, sử dụng Apache Iceberg làm lớp danh mục chia sẻ kết nối ClickHouse, WarehousePG và Spark, đồng thời cung cấp tính năng "agentic database" tự động hóa nhiệm vụ DBA định kỳ. Giải pháp này nhấn mạnh quyền kiểm soát dữ liệu tại chỗ cho doanh nghiệp, khác biệt với cách tiếp cận lakehouse của Databricks, và có mức giá theo lõi CPU ổn định hơn so với các nền tảng cloud theo mức tiêu thụ.

Lập trình viên cần đọc bài này để hiểu cách Postgres AI của EDB kết hợp với Iceberg và các công cụ phân tích khác để tạo ra một hệ sinh thái tích hợp, giúp tối ưu hóa quy trình phát triển ứng dụng AI với tính linh hoạt, kiểm soát dữ liệu và chi phí dự đoán hơn so với các giải pháp cloud tiêu thụ.

New BigQuery Data Transfer Service Capabilities

Dịch vụ BigQuery Data Transfer Service bổ sung khả năng mới, cho phép tự động hóa việc đưa dữ liệu từ nhiều nguồn đa dạng vào data warehouse với chi phí thấp.

Lập trình viên nên đọc bài này để khám phá cách tự động hóa và tối ưu hóa việc chuyển dữ liệu từ nhiều nguồn khác nhau vào BigQuery với chi phí thấp, giúp tiết kiệm thời gian và công sức trong việc xây dựng hệ thống xử lý dữ liệu hiệu quả.

BigQuery Performance Optimizations

Tìm hiểu những cải tiến mới nhất nhằm tối ưu hiệu suất giá thành cho BigQuery thông qua xử lý truy vấn tự động.

Lập trình viên nên đọc bài này để hiểu cách tự động hóa và tối ưu hóa các truy vấn BigQuery bằng công nghệ tự động xử lý, giúp giảm chi phí và tăng hiệu suất khi xử lý dữ liệu lớn.

Why Coinbase and Pinterest Chose StarRocks: Lakehouse-Native Design and Fast Joins at Terabyte Scale

StarRocks được các kỹ sư dữ liệu tại Coinbase, Pinterest và Fresha ưa chuộng nhờ hiệu suất OLAP cao, hỗ trợ phân tích tức thì trên dữ liệu terabyte nhờ tính năng join phân tán nhanh (colocated join groups) và kiến trúc hybrid hot/cold. Các công ty này ghi nhận cải thiện đáng kể về độ trễ truy vấn (giảm 50% tại Pinterest, đạt dưới 100ms tại Fresha) và tiết kiệm tài nguyên, mặc dù StarRocks đòi hỏi mô hình dữ liệu cẩn thận và có cộng đồng nhỏ hơn so với ClickHouse.

Nếu bạn đang xây dựng hệ thống phân tích lớn trên dữ liệu terabyte, hiểu cách StarRocks tối ưu hóa join phân tán bằng cách đồng bộ hóa nhóm join (colocated) sẽ giúp bạn tránh những rắc rối về latency và chi phí hạ tầng khi so sánh với các giải pháp truyền thống.

The Open Interoperability Standard: Why Bidirectional Iceberg REST Matters

Để có quyền kiểm soát dữ liệu thực sự, cần có khả năng tương tác hai chiều. Snowflake Horizon triển khai đầy đủ giao thức Iceberg REST Catalog, trong khi Databricks Unity Catalog chỉ hỗ trợ tiếp nhận dữ liệu một chiều, do đó kém linh hoạt hơn.

Nếu bạn đang tìm kiếm cách tối ưu hóa quản lý và chia sẻ dữ liệu trong các hệ thống lớn, bài viết này sẽ giúp bạn hiểu rõ tại sao bidirectional Iceberg REST—chứ không chỉ là giao thức một chiều—là giải pháp quan trọng để xây dựng một cơ chế dữ liệu tự chủ (data sovereignty) hiệu quả hơn.

AWS Weekly Roundup: Price reduction of GPT models in Bedrock, CloudWatch managed collectors for Prometheus metrics, and more (August 3, 2026)

AWS weekly roundup covering key launches from late July/early August 2026. Highlights include up to 80% price reductions for OpenAI GPT-5.6 models (Luna and Terra) available through Amazon Bedrock, with Luna now at $0.20/million input tokens. Amazon CloudWatch adds fully managed Prometheus collectors for EKS, EC2, ECS, MSK, and OpenSearch workloads, eliminating the need to self-manage scraping infrastructure. AWS Interconnect for Oracle Cloud Infrastructure reaches general availability, enabling private cross-cloud networking. IAM Identity Center extends multi-Region support to the Identity Center directory for improved resilience. Amazon S3 Tables gains support for the Variant data type in Apache Iceberg V3 for semi-structured data management.

The AI boom runs on something a lot less glamorous than algorithms

Bùng nổ AI phụ thuộc nhiều vào những yếu tố kém hấp dẫn hơn thuật toán như nguồn mở, công nghệ mở và web mở.

Lập trình viên nên đọc bài này để hiểu rằng thành công của AI không chỉ dựa trên công nghệ cao siêu mà còn phụ thuộc vào nền tảng mở, cộng đồng chia sẻ và sự kết nối thông minh giữa các dự án, giúp phát triển nhanh hơn và bền vững hơn.

Introducing the borderless Lakehouse

The borderless Lakehouse provides secure, bi-directional access via BigQuery and Managed Service for Apache Spark to any Iceberg-compatible engine.

ASF Plus One Newsletter: July 2026

The Apache Software Foundation's July 2026 Plus One newsletter covers community highlights including ALC Taipei's participation at Computex 2026, an interview with Apache DataFusion Python maintainer Tim Saucer on LLM-assisted development for keeping Python bindings in sync with the upstream Rust library, and a discussion with Apache Polaris PMC members on building a vendor-neutral standard for Apache Iceberg table management. The newsletter also celebrates 14 ASF Top-Level Project anniversaries and lists upcoming events including Community Over Code Asia in August and Community Over Code Glasgow in October.

10X more data, same 4 seconds: single-query scaling in Redpanda SQL on 1TB

Bài kiểm tra hiệu suất cho thấy truy vấn phân tích đơn lẻ trong Redpanda SQL vẫn duy trì thời gian xử lý 4 giây dù dữ liệu tăng gấp 10 lần (lên 1TB) và cụm máy chủ mở rộng.

Một lập trình viên cần đọc bài này để hiểu cách Redpanda SQL tối ưu hóa quy trình phân tích dữ liệu bằng cách mở rộng hiệu suất một cách độc lập với quy mô dữ liệu, giúp tiết kiệm thời gian và chi phí khi xử lý các trường hợp lớn như 1TB dữ liệu mà chỉ mất 4 giây.

Amazon S3 Tables now support the Variant data type for Apache Iceberg V3

Amazon S3 Tables giờ đây hỗ trợ kiểu dữ liệu Variant cho Apache Iceberg phiên bản 3.

Lập trình viên cần đọc bài này để khám phá cách Variant trong Iceberg V3 giúp tối ưu hóa quản lý dữ liệu phức tạp, hỗ trợ lưu trữ và truy vấn hiệu quả hơn với các kiểu dữ liệu đa dạng, đặc biệt khi kết hợp với S3 Tables để mở rộng khả năng xử lý big data trên AWS.

Sponsor Success at Apache: Google and Apache Iceberg

Google Cloud chia sẻ góc nhìn từ kỹ sư và quản lý sản phẩm về đóng góp cho Apache Iceberg, nhấn mạnh cải tiến trong đặc tả V4 như Single-File Commits, metadata lưu trong Parquet, đường dẫn tương đối và kiểm soát truy cập chi tiết. Bài viết cũng đề cập đến phát triển IcebergIO của Apache Beam, lộ trình tương tác Iceberg của BigQuery, và vai trò của các định dạng dữ liệu mở trong workloads GenAI. Ngoài ra, bài viết chia sẻ kinh nghiệm đóng góp lần đầu và lợi ích của tiêu chuẩn lưu trữ mở đối với toàn bộ hệ sinh thái dữ liệu.

Là lập trình viên xây dựng hệ thống xử lý dữ liệu lớn, bạn nên đọc bài này để hiểu cách Google và Apache Iceberg tối ưu hóa hiệu suất với các cải tiến như Single-File Commits và metadata Parquet, đồng thời khám phá cách tích hợp với BigQuery và Beam để mở rộng khả năng mở rộng cho các ứng dụng GenAI.

NexusOne: The Data Layer for AI

NexusOne: The Data Layer for AI nx1.io Let’s start with the problem Picture almost any large enterprise today. Somewhere in that company, there’s a mainframe still quietly running core …

Data Versioning in Machine Learning and Data Lakes

Data Versioning in Machine Learning and Data Lakes A Practical Overview of Data Versioning: Dolt, DVC, Delta Lake, Iceberg, Hudi, and lakeFS Data version control tracks changes to datasets over time …

Iceberg Needs an Open Catalog, Not a Walled Garden

Apache Iceberg helps reduce data lock-in with open table formats, but proprietary catalogs can limit openness, interoperability and architectural choice.

Debugging Apache Iceberg: A Production Guide

Bài viết của Jonathan Saring trên ITNEXT hướng dẫn khắc phục sự cố Apache Iceberg trong môi trường sản xuất. Nội dung tập trung vào các kỹ thuật debug và giải pháp cho các vấn đề thường gặp khi triển khai Iceberg.

Lập trình viên cần đọc bài này để hiểu cách tối ưu và quản lý hiệu suất cũng như vấn đề bảo mật trong hệ thống Apache Iceberg, giúp họ xây dựng và vận hành các dự án dữ liệu hiệu quả hơn trong môi trường sản xuất.

Snowflake-Managed vs. Self-Managed Iceberg Tables: What Actually Determines the Difference

Snowflake-Managed vs. Self-Managed Iceberg Tables: What Actually Determines the Difference The determining factor is not where your Parquet files sit or who writes them. It is who owns the metadata …

DuckLake Architecture Deep Dive

Bài chia sẻ từ webinar về DuckLake đi sâu vào kiến trúc, triển khai và vận hành, nổi bật với schema evolution không cần rewrite Parquet, hỗ trợ multi-tenancy qua partitioning, mô hình concurrency cao (~100 TPS) cùng các tính năng như upsert (MERGE), caching (RAM/disk), di chuyển dữ liệu từ Iceberg (metadata-only) hay Delta (phải di chuyển files), tương thích dbt/SQLMesh, và quản lý bằng checkpoint/vacuum/compact. DuckLake là mã nguồn mở (MIT) còn MotherDuck cung cấp phiên bản quản lý thương mại.

Lập trình viên nên đọc bài này để so sánh và đánh giá cách thiết kế DuckLake—một giải pháp lưu trữ dữ liệu hiện đại—so với Iceberg/Delta, đặc biệt khi cần tối ưu hóa cho các trường hợp schema evolution không cần rewrite, multi-tenancy thông qua partitioning và thích ứng với tải trọng cao (100 TPS vs 1 TPS), đồng thời khám phá tính năng **upsert, caching và chuyển đổi từ Iceberg/Delta một cách dễ dàng.

Tableflow: Turn Kafka Topics into Iceberg Tables

Confluent Tableflow is a managed Confluent Cloud feature that automatically materializes Apache Kafka topics as Apache Iceberg or Delta Lake tables, eliminating the need for custom ETL pipelines. It converts Kafka topic data (Avro, JSON Schema, Protobuf) into Parquet files, generates Iceberg/Delta Lake metadata, and publishes tables to catalogs like AWS Glue or Unity Catalog. The post walks through a step-by-step setup using Confluent Cloud, Amazon S3, and AWS Glue, covering cluster creation, schema registration, S3 bucket setup, IAM role configuration, and enabling Tableflow on a topic. Schema evolution is handled automatically via Confluent Schema Registry. Once materialized, tables can be queried from Snowflake, Databricks, AWS Athena, Trino, and BigQuery.

Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption

Nhóm kỹ sư dữ liệu của Grab chia sẻ hành trình di chuyển kho dữ liệu petabyte-scale từ Hive Parquet sang Apache Iceberg, khắc phục bốn vấn đề chính (độ trễ catalog, vấn đề file nhỏ, công việc vận hành thủ công và lỗi đồng bộ catalog-lưu trữ) cùng những cải thiện hiệu suất đáng kể (tốc độ truy vấn nhanh gấp 10 lần, giảm 95% chi phí API S3, tiết kiệm ~50% compute). Họ cũng giới thiệu công cụ mã nguồn mở UnifiedSparkCatalog giúp định tuyến truy vấn tự động giữa các định dạng bảng (Iceberg, Delta, Hudi, Hive) mà không cần người dùng chỉ định.

Lập trình viên data nên đọc bài này để hiểu cách tối ưu hóa quy trình xử lý dữ liệu lớn bằng cách áp dụng Apache Iceberg, từ đó tiết kiệm chi phí, cải thiện hiệu suất và giảm thiểu rủi ro trong việc chuyển đổi từ các định dạng truyền thống như Hive Parquet.

Why AI Will Reward Open Data Architectures, and Not Closed Platforms

Snowflake and Databricks both converged on open data standards in 2026, shipping Apache Iceberg v3 support and open catalog protocols, signaling that closed data platforms are losing ground. The argument is that agentic AI requires four things: governed context, reusable semantics, fast query access, and portability — and only open architectures deliver all four. Proprietary formats create costly migrations every time AI models change, while open formats (Iceberg, Apache Polaris, open catalogs) reduce switching costs to near zero. The piece warns against choosing platforms based on AI demo quality and instead advocates evaluating how cheaply you can change your mind — a metric where open-first architectures win by design.

Your Kafka Infrastructure Just Became Optional

Snowflake announced two products at Summit 2026 that make the traditional Kafka-to-warehouse pipeline optional: Openflow (now GA), a managed integration service built on Apache NiFi with pre-built connectors for Kafka, MongoDB, BigQuery, and more; and Datastream, a Kafka-compatible streaming endpoint native to Snowflake that eliminates the need for a Kafka cluster entirely. Together they collapse the typical five-hop pipeline (Kafka → Zookeeper → Schema Registry → Kafka Connect → S3 → ETL) into a single step. The post covers when to keep Kafka vs. replace it, cost comparisons (typical mid-size Kafka setup runs $3K–$6.5K/month plus engineering overhead), deployment models (SPCS vs. BYOC), and key limitations including no autoscaling for the Kafka connector and Iceberg schema evolution not supported in Openflow.

Six Technical Pillars for Production AI on Snowflake

A technical guide covering six engineering pillars for running production AI on Snowflake: automated data quality with Data Metric Functions, semantic views for grounding LLM queries, open lakehouse architecture with Apache Iceberg and Polaris, RAG pipelines using Cortex Search, ML model lifecycle management via the Model Registry, and token-based cost forecasting. Each pillar includes concrete SQL or Python code examples.

pg-cdc Frustratingly simple Postgres change data capture to AWS S3

pg-cdc is an open source tool that streams Postgres Write Ahead Logs (WAL) into typed, immutable Apache Iceberg tables on AWS S3. It registers entities in the AWS Glue Catalog and gates all reads via AWS Lake Formation tags, enabling AI agents, analysts, and query engines to consume governed data without database credentials or a JVM. Key properties include one-way data flow (no write-back risk), IAM-based authentication, column-level access control, and built-in time travel via Iceberg snapshots.

AWS Introduces Amazon S3 Annotations

AWS giới thiệu Amazon S3 Annotations, cho phép gắn metadata phong phú, có thể sửa đổi và truy vấn trực tiếp vào các đối tượng S3. Khác với S3 tags (giới hạn 10) hay metadata do người dùng định nghĩa (tối đa 2 KB), annotations hỗ trợ tới 1.000 mục/kết hợp dung lượng 1 GB, viết bằng JSON, XML hoặc YAML, có thể cập nhật độc lập và tự động lập chỉ mục vào Apache Iceberg qua S3 Metadata, truy vấn được qua Athena, Redshift hoặc các công cụ tương thích Iceberg.

Là một lập trình viên làm việc với dữ liệu trên AWS, bạn nên đọc bài này để khám phá cách S3 Annotations mở rộng khả năng lưu trữ và truy vấn metadata phức tạp hơn so với tags truyền thống, giúp tối ưu hóa các ứng dụng xử lý lớn như AI, phân tích dữ liệu và quản lý tuân thủ hiệu quả.

Cloudflare Details Unified Data Platform Where Billing Workloads Account for 53% of Queries

Cloudflare has published details on Town Lake, its internal unified data platform, and Skipper, an AI-powered analytics agent built on top of it. Town Lake uses a lakehouse architecture combining Apache Trino, Apache Iceberg, Cloudflare R2 object storage, and DataHub for metadata management, enabling cross-system SQL queries spanning Postgres, ClickHouse, Kafka, BigQuery, and object storage without moving data. A default-closed governance model ensures new datasets undergo automated PII scanning and human review before access is granted. Skipper translates natural language questions into validated SQL queries using schema metadata, transformation lineage, and documentation. Billing workloads dominate usage at 53% of all queries, with 91,760 billing-related queries processed from 324 employees in a measured period. Future plans include deeper integration with internal chat and ticketing systems, expanded Transformer pipeline capabilities, and migration of additional workloads to R2 SQL.

Open Intelligence, Open Data: SingleStore delivers Zero-copy Compute on Apache Iceberg

SingleStore is announcing its third-generation cluster architecture built on a Zero-Copy data fabric with native Apache Iceberg support. The new Gen3 clusters allow compute to attach directly to any database without copying or duplicating data, enabling HTAP workloads — transactional, analytical, vector search, and AI inference — to run against open data in place. Key features include Smart Read Replicas for isolated scaling, Database Branching for zero-copy dev/test environments, and Smart DR for cross-region disaster recovery without idle infrastructure costs. Existing customers are automatically upgraded with no migration required. The pitch is that organizations can build agentic AI applications directly on open Iceberg data without moving it into proprietary silos.

Amazon S3 server access logs now deliver to Amazon CloudWatch Logs and Amazon S3 Tables

Amazon S3 now supports delivering server access logs to two new destinations: Amazon CloudWatch Logs and Amazon S3 Tables. CloudWatch Logs delivery enables instant querying, alarms, cross-account and cross-Region aggregation, and KMS encryption. S3 Tables mirroring stores logs in Apache Iceberg format at no additional storage cost, making them immediately queryable via SQL in Athena, Redshift, and other Iceberg-compatible engines. These options complement the existing free delivery to S3 general purpose buckets. The feature is available in all AWS Regions except China and GovCloud.

pgEdge joins rush to merge OLTP and OLAP storage to support AI

pgEdge ra mắt phiên bản beta ColdFront, hệ thống phân tầng dữ liệu nóng-lạnh native cho PostgreSQL, tự động di chuyển dữ liệu cũ sang lưu trữ object Apache Iceberg nhưng vẫn giữ PostgreSQL làm giao diện duy nhất cho ứng dụng. Khác biệt chính là ColdFront hỗ trợ tầng lạnh có thể ghi (writable cold tier), cho phép UPDATE/DELETE trên dữ liệu lưu trữ qua SQL tiêu chuẩn, phục vụ tuân thủ GDPR. DuckDB nổi lên như engine phân tích nhúng thống nhất trong các kiến trúc này, trong khi tính tương tác giữa các catalog Iceberg của nhà cung cấp vẫn là thách thức chưa giải quyết.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa hệ thống PostgreSQL bằng ColdFront, một giải pháp tự động chuyển đổi dữ liệu từ nóng sang lạnh trong Iceberg, giúp giảm chi phí và cải thiện hiệu suất cho ứng dụng AI mà không cần thay đổi kiến trúc SQL hiện có.

How to Eliminate Training-Serving Skew in MLOps (2026)

Training-serving skew — the divergence between features used during model training and those seen at inference time — silently degrades ML accuracy and doubles infrastructure costs. The solution is a unified kappa architecture: compute features once in Apache Flink, dual-write to an offline store (Apache Iceberg or Delta Lake) for training and an online key-value cache for serving. DoorDash measured a 35.7% feature-value mismatch in their dual-pipeline setup; Netflix replaced a $93M/year dual-pipeline backfill with a $2M/year kappa replay. The reference architecture covers Kafka ingestion via Confluent's Kora engine, serverless Flink with event-time watermarks and exactly-once semantics, Tableflow for automated Iceberg/Delta materialization, and Stream Governance for schema enforcement and lineage. A tooling comparison covers Databricks, SageMaker+Kinesis, Tecton, Feast, and Confluent, with a decision framework based on latency requirements, existing stack investment, and pipeline fragmentation. The post is authored by a Confluent employee and promotes the Confluent Data Streaming Platform throughout.

Bridge Queries in Redpanda SQL

Redpanda SQL introduces bridge queries, a feature that lets you query live Redpanda topic data and historical Iceberg table data together through a single virtual SQL table. This eliminates the classic streaming-to-lakehouse tradeoff between data freshness and Parquet file quality. Previously, frequent flushes to Iceberg were needed for low-latency analytics, resulting in thousands of tiny Parquet files, poor compression, high S3 costs, and constant compaction overhead. With bridge queries, the topic itself serves the freshness gap at query time, so Iceberg flushes can happen on a longer cadence (hours instead of seconds/minutes), producing larger, analytics-optimized Parquet files. Configuration involves raising the iceberg lag target and optionally the flush size threshold. The result is lower query latency, reduced S3 costs, and no need for a compaction service.