Automatic Upgrades: best practice features for your lakehouse tables

How We Built DEmate: Taming LLMs for Data Engineering at Meta

Meta xây dựng DEmate, trợ lý AI chuyên biệt cho nền tảng data engineering nội bộ, thay thế các LLM tổng quát không hiểu các công cụ, SQL macros hay UDFs riêng. Hệ thống sử dụng kiến trúc "Recipe" gồm 4 giai đoạn (lựa chọn, tiêm ngữ cảnh, sinh code, kiểm định) với ~70 recipes DE, kết hợp chaining và disclosure để giảm lỗi ảo giác. DEmate triển khai trên IDE, giao diện SQL và công cụ quản lý task, đạt 3.500 người dùng hàng tuần và tỷ lệ chấp nhận code 80% sau 5 tháng.

Lập trình viên data cần đọc để hiểu cách xây dựng một công cụ AI chuyên biệt hóa cho stack riêng biệt, từ đó áp dụng kiến thức về recipe architecture và code review AI để tối ưu hóa hiệu suất và chất lượng trong công việc xử lý dữ liệu của riêng mình.

Kafka's log compaction corrupts data. Here's how we fixed it

Apache Kafka có lỗ hổng trong cơ chế log compaction khiến dữ liệu bị hỏng do xung đột giữa compaction và replication, gây ra bốn vấn đề: dữ liệu đã xóa tái xuất hiện, giao dịch bị hủy hiện dưới dạng đã commit, dữ liệu đã commit bị ẩn, và consumers read_committed bị đóng băng partition. Redpanda Streaming khắc phục bằng giao thức compaction phối hợp, sử dụng các cặp offset (MCCO/MTRO, MXFO/MXRO) để đảm bảo tombstones và transaction markers không bị xóa trước khi tất cả replicas xử lý xong. Lỗi này có thể tái hiện trên Kafka phiên bản 3.9 đến 4.2 bằng Docker Compose.

Lập trình viên cần đọc bài này để hiểu cách giải quyết vấn đề lỗi race condition trong log compaction của Kafka, giúp tránh mất dữ liệu và bảo đảm tính nhất quán khi xử lý các trường hợp đồng bộ hóa dữ liệu trên nhiều broker.

Why the Frontier Ecosystem must be Open — Matei Zaharia and Reynold Xin, Databricks

Databricks nhấn mạnh tầm quan trọng của hệ sinh thái mở (Frontier Ecosystem) trong việc xây dựng hệ điều hành cho các tác nhân AI doanh nghiệp. Họ giới thiệu Omnigent, một meta-harness mã nguồn mở giúp chuẩn hóa API cho các coding agent như Claude Code, Codex và Cursor, hỗ trợ phiên làm việc liên tục, cộng tác và kiểm soát bảo mật. Ngoài ra, Databricks đề cập đến LTAP (Lake Transactional/Analytical Processing) nhằm hợp nhất workload giao dịch và phân tích, cũng như thảo luận về chiến lược mô hình Mosaic và vai trò của dữ liệu được tổ chức tốt trong việc tái định nghĩa phần mềm truyền thống.

Những lập trình viên xây dựng hệ thống AI hoặc ứng dụng doanh nghiệp nên đọc để hiểu cách kết hợp kiến trúc mở, quản lý dữ liệu hiệu quả và bảo mật thông minh để xây dựng các agent AI tự động hóa công việc một cách bền vững và tuân thủ.

Building Kafka-Less Data Integration Pipelines with Debezium

Debezium now supports Kafka-less data integration pipelines via a JDBC sink in Debezium Server (DS) and the Debezium Management Platform (DMP). The tutorial walks through setting up a real-time data replication pipeline from PostgreSQL to MySQL using Docker, with no Kafka cluster required. Key configuration options like upsert mode, primary key handling, schema evolution, and delete propagation are explained. The same setup can be deployed on Kubernetes using the Debezium Operator CRD or managed through the DMP UI and REST API. Current limitations include no parallel processing (tasks.max > 1) and source-side filtering instead of topic-based consumer filtering.

How We Turned Data Engineering Runbooks Into Reliable AI Skills

A data engineering team at Halodoc shares seven production-tested patterns for building reliable AI skills (agent workflows) that automate warehouse onboarding, replication setup, and cost analysis. The patterns cover: loading only the relevant runbook per request to avoid context bleed, probing internal systems before asking users for input, explicitly mapping each workflow step to a specific tool/database, using exactly three human-in-the-loop confirmation gates, writing hard constraints as short imperatives derived from real production failures, defining explicit per-mode parameter sets to prevent hallucinated fields, and specifying output format with a concrete filled-in example. Post-deployment observations showed that replacing free-text user inputs with system-queried lists eliminated an entire class of errors, and showing intermediate reasoning steps increased engineer trust. A checklist of six pre-ship questions is provided as a practical framework.

Why ESG data is becoming core financial infrastructure

Dữ liệu ESG đang dần trở thành hạ tầng tài chính cốt lõi thay vì chỉ phục vụ báo cáo tuân thủ. Các tổ chức tài chính đối mặt thách thức từ dữ liệu ESG phân mảnh, không nhất quán giữa nhiều hệ thống và nhà cung cấp. Sự chuyển đổi quan trọng là xây dựng hệ sinh thái dữ liệu có khả năng tương tác, được quản trị chặt chẽ, xử lý dữ liệu bền vững với tiêu chuẩn tương đương dữ liệu tài chính. Lợi thế cạnh tranh sẽ thuộc về những đơn vị có thể vận hành dữ liệu ESG không hoàn hảo một cách thông minh ở quy mô lớn nhờ governance mạnh, tích hợp API, theo dõi lineage và kiến trúc linh hoạt.

Lập trình viên nên đọc bài này để hiểu cách xây dựng hệ thống tích hợp ESG dữ liệu hiệu quả, từ đó hỗ trợ các ngân hàng và doanh nghiệp tự động hóa quyết định tài chính, tối ưu hóa quy trình và cạnh tranh trong thị trường ngày càng đòi hỏi tính bền vững.

Six Technical Pillars for Production AI on Snowflake

A technical guide covering six engineering pillars for running production AI on Snowflake: automated data quality with Data Metric Functions, semantic views for grounding LLM queries, open lakehouse architecture with Apache Iceberg and Polaris, RAG pipelines using Cortex Search, ML model lifecycle management via the Model Registry, and token-based cost forecasting. Each pillar includes concrete SQL or Python code examples.