Granular Usage Attribution for dbt Pipelines with Query Tags

Beyond dashboards: Introducing Decision Execution Platforms

Databricks Forward Deployed Engineering introduces Decision Execution Platforms (DEPs), a proposed new enterprise analytics category that goes beyond traditional BI dashboards. Rather than just surfacing insights, DEPs aim to run the full executive decision loop — signal, decision, execution, and outcome measurement — as one continuous, governed system on Databricks infrastructure. The concept addresses the fragmentation in current enterprise decision-making, where signals live in dashboards, reasoning in meetings, and execution across spreadsheets and Slack threads. A real-world case study describes a fulfillment optimization DEP built for a large athletic retailer, using Unity Catalog, typed action types, and agent runtimes to close a gap estimated at over nine figures annually.

Celebrating the Winners of the 2026 Built-On Databricks Startup Challenge

Databricks has announced the winners of its 2026 Built-On Databricks Startup Challenge, a global competition for early-stage B2B startups building on the Databricks platform. The Grand Prize Winner is VisionHeight, an agentic threat intelligence platform that maps adversary infrastructure across the internet before attacks launch. The two other winners are Linkup, a production-grade web search API for AI applications, and Intelo, an agentic workforce platform for retail merchandising and planning. Databricks also announced a new startup program offering up to $200,000 in credits across Databricks and Neon for qualifying early-stage founders.

Benchmarks and Obscurantism: A “red” line that should not be crossed

ClickHouse's product manager investigates a Databricks keynote benchmark that claimed ClickHouse 'crashed' under load during the Reyden announcement. The author attempts to reproduce the crash using TPC-H SF1 data and finds ClickHouse does not crash — it gracefully rejects queries at a configurable concurrency limit. The post argues the Databricks benchmark was opaque, used tiny datasets (fitting in iPhone memory), provided no hardware or configuration details, and was run on a product competitors cannot yet access. The author demonstrates that with proper node sizing (35 nodes for 15K QPS), ClickHouse handles the load without tuning. The broader argument is that benchmarks must be open, reproducible, and detailed to be meaningful, contrasting Databricks' approach with ClickHouse's public GitHub benchmark repository.

How the English Office for Students leverages Databricks to enhance higher education standards and drive better student outcomes

Cơ quan Giáo dục Đại học Anh (Office for Students) đã chuyển từ nền tảng phân tích cũ sang Databricks, giúp giảm thời gian xử lý dữ liệu 300 triệu bản ghi từ 8 giờ xuống vài phút và rút ngắn phân tích phân khúc sinh viên từ hai tuần xuống nửa ngày. Việc hợp nhất dữ liệu có cấu trúc, định tính và gần thời gian thực trên nền tảng quản trị thống nhất (Unity Catalog) cùng các công cụ AI như Genie Code đã tăng tốc độ phân tích, duy trì truy xuất dữ liệu và hỗ trợ ra quyết định có kiểm soát.

Lập trình viên nên đọc bài này để hiểu cách Databricks tích hợp AI/ML và quản lý dữ liệu quy mô lớn giúp tổ chức giáo dục tự động hóa phân tích dữ liệu, cải thiện hiệu quả công việc và đảm bảo tính minh bạch trong quyết định liên quan đến học sinh.

How to Build Privacy-Safe Cross-Organizational Data Joins with Databricks Cleanrooms

A practical guide to setting up Databricks Cleanrooms for privacy-safe cross-organizational data joins, drawn from real production experience. Covers Unity Catalog governance policies (row-level filters, column masking with HMAC tokens), provider and consumer configuration using the Databricks Python SDK, writing a privacy-safe PySpark notebook with mandatory cohort-size guards, and hard-won production pitfalls: token alignment failures, silently expiring Delta Sharing credentials, compute cost surprises, and result review bottlenecks. Also addresses regulatory mapping (PCI-DSS, GLBA, CCPA, SOX), revocation pipelines, differential privacy considerations, and an honest comparison against AWS Clean Rooms, Google Analytics Hub, federated learning, and synthetic data approaches. Ends with an unresolved question about audit log portability when partnerships dissolve.

How Databricks is turning video into searchable, actionable intelligence

Databricks biến video thành dữ liệu có thể tìm kiếm và xử lý bằng cách ứng dụng kỹ thuật dữ liệu quy mô lớn, sử dụng Serverless GPU Compute, Lakeflow pipelines và vision language models (VLM) như SAM3 của Meta. Hệ thống cho phép truy vấn bằng ngôn ngữ tự nhiên để tìm kiếm và tóm tắt nội dung video, ví dụ giảm 26 phút video camera giao thông xuống dưới 2 phút đoạn quan trọng nhờ AI. Pipeline hỗ trợ nhiều mô hình qua MLflow, kích hoạt sự kiện tự động, xử lý đồng thời và có thể mở rộng cho các trường hợp như kiểm tra cơ sở hạ tầng, an ninh công cộng hay hoạt động sân bay, với mã nguồn mở trên GitHub.

Lập trình viên nên đọc bài này để khám phá cách Databricks biến phân tích video thành một giải pháp hiệu quả bằng công nghệ data engineering, từ việc xử lý dữ liệu lớn đến tích hợp mô hình AI tiên tiến, giúp tự động hóa và tối ưu hóa các ứng dụng thực tế từ các thiết bị giám sát đến công tác an ninh.

From monolith to Lakebase to LTAP: rethinking the database from storage up

Reynold Xin từ Databricks trình bày sự tiến hóa kiến trúc từ các cơ sở dữ liệu monolithic OLTP truyền thống đến Lakebase (Postgres serverless) và LTAP (Lake Transactional/Analytical Processing). Lakebase tách WAL ra khỏi máy chủ duy nhất, sử dụng SafeKeeper phân tán (Paxos-based) và PageServer dựa trên cloud object storage, giúp tính toán stateless, lưu trữ vô hạn, scale linh hoạt và branching tức thì. LTAP nâng cấp hơn bằng cách chuyển đổi dữ liệu dạng row của Postgres thành định dạng columnar (Parquet/Delta/Iceberg) ngay tại PageServer, cho phép cả Postgres và các engine phân tích Lakehouse cùng đọc từ một bản sao dữ liệu duy nhất, loại bỏ nhu cầu CDC, ETL chậm trễ và data drift.

Lập trình viên nên đọc bài này để hiểu cách Databricks chuyển đổi cơ sở dữ liệu từ mô hình truyền thống sang mô hình LTAP, giúp tối ưu hóa hiệu suất, giảm thiểu contention và tối đa hóa tính linh hoạt cho ứng dụng của họ trong môi trường cloud.