Debugging Apache Iceberg: A Production Guide

EDB converges analytics on Postgres to support AI agents

EDB bổ sung khả năng phân tích hội tụ cho dịch vụ cơ sở dữ liệu EDB Postgres AI, sử dụng Apache Iceberg làm lớp danh mục chia sẻ kết nối ClickHouse, WarehousePG và Spark, đồng thời cung cấp tính năng "agentic database" tự động hóa nhiệm vụ DBA định kỳ. Giải pháp này nhấn mạnh quyền kiểm soát dữ liệu tại chỗ cho doanh nghiệp, khác biệt với cách tiếp cận lakehouse của Databricks, và có mức giá theo lõi CPU ổn định hơn so với các nền tảng cloud theo mức tiêu thụ.

Lập trình viên cần đọc bài này để hiểu cách Postgres AI của EDB kết hợp với Iceberg và các công cụ phân tích khác để tạo ra một hệ sinh thái tích hợp, giúp tối ưu hóa quy trình phát triển ứng dụng AI với tính linh hoạt, kiểm soát dữ liệu và chi phí dự đoán hơn so với các giải pháp cloud tiêu thụ.

DuckLake Architecture Deep Dive

Bài chia sẻ từ webinar về DuckLake đi sâu vào kiến trúc, triển khai và vận hành, nổi bật với schema evolution không cần rewrite Parquet, hỗ trợ multi-tenancy qua partitioning, mô hình concurrency cao (~100 TPS) cùng các tính năng như upsert (MERGE), caching (RAM/disk), di chuyển dữ liệu từ Iceberg (metadata-only) hay Delta (phải di chuyển files), tương thích dbt/SQLMesh, và quản lý bằng checkpoint/vacuum/compact. DuckLake là mã nguồn mở (MIT) còn MotherDuck cung cấp phiên bản quản lý thương mại.

Lập trình viên nên đọc bài này để so sánh và đánh giá cách thiết kế DuckLake—một giải pháp lưu trữ dữ liệu hiện đại—so với Iceberg/Delta, đặc biệt khi cần tối ưu hóa cho các trường hợp schema evolution không cần rewrite, multi-tenancy thông qua partitioning và thích ứng với tải trọng cao (100 TPS vs 1 TPS), đồng thời khám phá tính năng **upsert, caching và chuyển đổi từ Iceberg/Delta một cách dễ dàng.

Escaping the SIEM Cost Trap: A Data-First Architecture for Security Analytics

SOFTSWISS shares how they replaced a traditional SIEM with a data-first security analytics architecture built on ClickHouse, open-source collection (Vector), Kafka, tiered storage (SSD/HDD/S3), and detection-as-code using Sigma and SQL. The platform handles over 700,000 events per second, retains 100TB+ of security data, and delivers $300K/year in cost savings versus vendor-heavy approaches. Key design principles include enriching data on ingestion via materialized views, managing all schemas and detection logic as code, and enabling analysts to pivot from token search to analytical correlation within a single dataset. The post also honestly addresses trade-offs: SQL literacy requirements, database operational complexity, governance challenges at scale, and the need to design analyst UX on top of the raw data layer.

Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption

Nhóm kỹ sư dữ liệu của Grab chia sẻ hành trình di chuyển kho dữ liệu petabyte-scale từ Hive Parquet sang Apache Iceberg, khắc phục bốn vấn đề chính (độ trễ catalog, vấn đề file nhỏ, công việc vận hành thủ công và lỗi đồng bộ catalog-lưu trữ) cùng những cải thiện hiệu suất đáng kể (tốc độ truy vấn nhanh gấp 10 lần, giảm 95% chi phí API S3, tiết kiệm ~50% compute). Họ cũng giới thiệu công cụ mã nguồn mở UnifiedSparkCatalog giúp định tuyến truy vấn tự động giữa các định dạng bảng (Iceberg, Delta, Hudi, Hive) mà không cần người dùng chỉ định.

Lập trình viên data nên đọc bài này để hiểu cách tối ưu hóa quy trình xử lý dữ liệu lớn bằng cách áp dụng Apache Iceberg, từ đó tiết kiệm chi phí, cải thiện hiệu suất và giảm thiểu rủi ro trong việc chuyển đổi từ các định dạng truyền thống như Hive Parquet.

Tableflow: Turn Kafka Topics into Iceberg Tables

Confluent Tableflow is a managed Confluent Cloud feature that automatically materializes Apache Kafka topics as Apache Iceberg or Delta Lake tables, eliminating the need for custom ETL pipelines. It converts Kafka topic data (Avro, JSON Schema, Protobuf) into Parquet files, generates Iceberg/Delta Lake metadata, and publishes tables to catalogs like AWS Glue or Unity Catalog. The post walks through a step-by-step setup using Confluent Cloud, Amazon S3, and AWS Glue, covering cluster creation, schema registration, S3 bucket setup, IAM role configuration, and enabling Tableflow on a topic. Schema evolution is handled automatically via Confluent Schema Registry. Once materialized, tables can be queried from Snowflake, Databricks, AWS Athena, Trino, and BigQuery.

Why AI Will Reward Open Data Architectures, and Not Closed Platforms

Snowflake and Databricks both converged on open data standards in 2026, shipping Apache Iceberg v3 support and open catalog protocols, signaling that closed data platforms are losing ground. The argument is that agentic AI requires four things: governed context, reusable semantics, fast query access, and portability — and only open architectures deliver all four. Proprietary formats create costly migrations every time AI models change, while open formats (Iceberg, Apache Polaris, open catalogs) reduce switching costs to near zero. The piece warns against choosing platforms based on AI demo quality and instead advocates evaluating how cheaply you can change your mind — a metric where open-first architectures win by design.

My 25th EuroPython

Marc-André Lemburg tham dự EuroPython lần thứ 25 liên tiếp tại Kraków, Ba Lan năm nay. Ông sẽ thuyết trình về DuckLake, một phần mở rộng của DuckDB, hệ quản trị cơ sở dữ liệu mà ông đánh giá là một trong những sản phẩm hấp dẫn nhất trong những năm gần đây.

Là người yêu thích công nghệ mở và công cụ phân tích dữ liệu hiệu quả, bạn nên đọc bài này để khám phá cách Marc-André Lemburg mở rộng DuckDB thành DuckLake, một giải pháp mạnh mẽ cho việc xử lý và tích hợp dữ liệu từ các nguồn khác nhau một cách đơn giản và hiệu suất cao.