Tableflow: Turn Kafka Topics into Iceberg Tables

Confluent Tableflow is a managed Confluent Cloud feature that automatically materializes Apache Kafka topics as Apache Iceberg or Delta Lake tables, eliminating the need for custom ETL pipelines. It converts Kafka topic data (Avro, JSON Schema, Protobuf) into Parquet files, generates Iceberg/Delta Lake metadata, and publishes tables to catalogs like AWS Glue or Unity Catalog. The post walks through a step-by-step setup using Confluent Cloud, Amazon S3, and AWS Glue, covering cluster creation, schema registration, S3 bucket setup, IAM role configuration, and enabling Tableflow on a topic. Schema evolution is handled automatically via Confluent Schema Registry. Once materialized, tables can be queried from Snowflake, Databricks, AWS Athena, Trino, and BigQuery.

Nguồn: https://www.confluent.io/blog/tableflow-kafka-iceberg. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

InfoQ1 Hot4 phút1 ngày trướcAI

AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference Inside the Database

Google giới thiệu AlloyDB AI functions với hai kỹ thuật tăng tốc cho truy vấn SQL sử dụng LLM: smart batching (gọi model theo lô, đạt 10.000 rows/giây) và kiến trúc proxy model (huấn luyện model nhẹ trong database bằng PREPARE, chạy nội bộ tới 100.000 rows/giây, giảm 6.000 lần chi phí). Proxy model hiện ở chế độ preview cho ai.if, bổ sung thêm các hàm ai.summarize, ai.agg_summarize, ai.analyze_sentiment cùng MCP server quản lý cho AI agent. Các số liệu benchmark từ thử nghiệm nội bộ cần được xác thực thêm trước khi triển khai sản xuất.