Scaling Grab's Data Lake: Our journey to Apache Iceberg adoption

How We Built DEmate: Taming LLMs for Data Engineering at Meta

Meta xây dựng DEmate, trợ lý AI chuyên biệt cho nền tảng data engineering nội bộ, thay thế các LLM tổng quát không hiểu các công cụ, SQL macros hay UDFs riêng. Hệ thống sử dụng kiến trúc "Recipe" gồm 4 giai đoạn (lựa chọn, tiêm ngữ cảnh, sinh code, kiểm định) với ~70 recipes DE, kết hợp chaining và disclosure để giảm lỗi ảo giác. DEmate triển khai trên IDE, giao diện SQL và công cụ quản lý task, đạt 3.500 người dùng hàng tuần và tỷ lệ chấp nhận code 80% sau 5 tháng.

Lập trình viên data cần đọc để hiểu cách xây dựng một công cụ AI chuyên biệt hóa cho stack riêng biệt, từ đó áp dụng kiến thức về recipe architecture và code review AI để tối ưu hóa hiệu suất và chất lượng trong công việc xử lý dữ liệu của riêng mình.

Kafka's log compaction corrupts data. Here's how we fixed it

Apache Kafka có lỗ hổng trong cơ chế log compaction khiến dữ liệu bị hỏng do xung đột giữa compaction và replication, gây ra bốn vấn đề: dữ liệu đã xóa tái xuất hiện, giao dịch bị hủy hiện dưới dạng đã commit, dữ liệu đã commit bị ẩn, và consumers read_committed bị đóng băng partition. Redpanda Streaming khắc phục bằng giao thức compaction phối hợp, sử dụng các cặp offset (MCCO/MTRO, MXFO/MXRO) để đảm bảo tombstones và transaction markers không bị xóa trước khi tất cả replicas xử lý xong. Lỗi này có thể tái hiện trên Kafka phiên bản 3.9 đến 4.2 bằng Docker Compose.

Lập trình viên cần đọc bài này để hiểu cách giải quyết vấn đề lỗi race condition trong log compaction của Kafka, giúp tránh mất dữ liệu và bảo đảm tính nhất quán khi xử lý các trường hợp đồng bộ hóa dữ liệu trên nhiều broker.

Why the Frontier Ecosystem must be Open — Matei Zaharia and Reynold Xin, Databricks

Databricks nhấn mạnh tầm quan trọng của hệ sinh thái mở (Frontier Ecosystem) trong việc xây dựng hệ điều hành cho các tác nhân AI doanh nghiệp. Họ giới thiệu Omnigent, một meta-harness mã nguồn mở giúp chuẩn hóa API cho các coding agent như Claude Code, Codex và Cursor, hỗ trợ phiên làm việc liên tục, cộng tác và kiểm soát bảo mật. Ngoài ra, Databricks đề cập đến LTAP (Lake Transactional/Analytical Processing) nhằm hợp nhất workload giao dịch và phân tích, cũng như thảo luận về chiến lược mô hình Mosaic và vai trò của dữ liệu được tổ chức tốt trong việc tái định nghĩa phần mềm truyền thống.

Những lập trình viên xây dựng hệ thống AI hoặc ứng dụng doanh nghiệp nên đọc để hiểu cách kết hợp kiến trúc mở, quản lý dữ liệu hiệu quả và bảo mật thông minh để xây dựng các agent AI tự động hóa công việc một cách bền vững và tuân thủ.

EDB converges analytics on Postgres to support AI agents

EDB bổ sung khả năng phân tích hội tụ cho dịch vụ cơ sở dữ liệu EDB Postgres AI, sử dụng Apache Iceberg làm lớp danh mục chia sẻ kết nối ClickHouse, WarehousePG và Spark, đồng thời cung cấp tính năng "agentic database" tự động hóa nhiệm vụ DBA định kỳ. Giải pháp này nhấn mạnh quyền kiểm soát dữ liệu tại chỗ cho doanh nghiệp, khác biệt với cách tiếp cận lakehouse của Databricks, và có mức giá theo lõi CPU ổn định hơn so với các nền tảng cloud theo mức tiêu thụ.

Lập trình viên cần đọc bài này để hiểu cách Postgres AI của EDB kết hợp với Iceberg và các công cụ phân tích khác để tạo ra một hệ sinh thái tích hợp, giúp tối ưu hóa quy trình phát triển ứng dụng AI với tính linh hoạt, kiểm soát dữ liệu và chi phí dự đoán hơn so với các giải pháp cloud tiêu thụ.

Production-grade ingestion with orchestration

Part 2 of a series on building Atlassian Teamwork Graph Connectors, focusing on orchestration — the layer that makes connectors production-ready. Covers declaring a task runner in the Forge manifest, scheduling recurring root tasks idempotently, implementing a task runner that dispatches by task type, fanning out hierarchical data sources into child tasks, classifying failure reasons (UNAUTHORIZED, RATE_LIMITED, RETRYABLE_ERROR, etc.) so the platform can respond appropriately, and managing cross-execution state with persistentTaskMetadata and KVS storage. Includes a full end-to-end lifecycle walkthrough and best practices for scale.

ASF Plus One Newsletter: June 2026

The Apache Software Foundation's June 2026 Plus One newsletter covers community highlights including reflections on the GSoC Mentor Summit, the Community Over Code Glasgow 2026 schedule (168 sessions across 18 tracks), and early-bird registration details. Apache Livy and Apache Magpie have graduated to Top-Level Projects. The newsletter also recognizes 24 new committers across 19 projects, 35 new PMC members, and celebrates 20 ASF project anniversaries including Apache Tomcat and Apache Iceberg. Upcoming events include Community Over Code Asia in Beijing (August 7-9) and Glasgow (October 11-14), with Travel Assistance Committee funding available for eligible contributors.

Amazon EMR Serverless now supports larger worker sizes to run more compute and memory intensive workloads

Amazon EMR Serverless now supports larger worker configurations of 32 vCPUs with up to 244 GB of memory, doubling the previous maximum of 16 vCPUs and 120 GB. These larger workers benefit shuffle-heavy workloads by reducing data transfers between executors, help avoid out-of-memory failures for skewed data jobs, and allow more data to be cached in memory. The feature is available in all AWS regions where EMR Serverless is supported and is recommended for compute and memory-intensive Spark and Hive workloads.