#unity-catalog

How to ground Genie Agents in both structured data and documents without losing governance

Xây dựng Genie Agents tích hợp cả dữ liệu có cấu trúc lẫn tài liệu phi cấu trúc nhưng vẫn tuân thủ quyền truy cập theo người dùng nhờ Unity Catalog.

Lập trình viên phát triển ứng dụng AI nên đọc bài này để hiểu cách tối ưu hóa khả năng truy vấn và quản lý dữ liệu cho các Genie Agent bằng cách kết hợp dữ liệu cấu trúc và không cấu trúc, đồng thời đảm bảo tuân thủ chính sách quản trị dữ liệu (governance) thông qua Unity Catalog.

Introducing FILE type: a native column type for multimodal data

FILE type là một kiểu cột gốc mới hỗ trợ lưu trữ và truy vấn dữ liệu đa phương thức (multimodal) như hình ảnh, video, PDF trực tiếp trong cơ sở dữ liệu.

Một lập trình viên nên đọc bài này để khám phá cách FILE là một kiểu dữ liệu bản địa (native) giúp tối ưu hóa xử lý dữ liệu đa mô hình—không cần chuyển đổi thủ công giữa các định dạng, giảm thiểu lỗi và tăng hiệu suất khi làm việc với các tập tin lớn, đặc biệt là trong ứng dụng AI/ML hoặc hệ thống xử lý dữ liệu phức tạp.

Unity AI Gateway is Generally Available

The

How Databricks manages its own coding agent spend with Unity AI Gateway Budgets

Databricks sử dụng Unity AI Gateway Budgets để quản lý chi phí cho coding agent, đảm bảo kiểm soát ngân sách hiệu quả trong quá trình phát triển.

Lập trình viên cần đọc bài này để hiểu cách Databricks áp dụng AI Gateway và ngân sách chi phí để kiểm soát chi phí của các công cụ lập trình tự động (coding agents) trong môi trường sản xuất, giúp tối ưu hóa hiệu quả công việc mà không phải lo lắng về chi phí bất ngờ.

Connect Amazon S3 data to Databricks with Delegated IAM Permissions

Tính năng kết nối tự động Amazon S3 với Databricks thông qua Delegated IAM Permissions đã chính thức ra mắt. Quản trị viên giờ đây có thể liên kết S3 bucket với Databricks chỉ bằng một lần đăng nhập AWS và vài cú click trực tiếp từ Catalog Explorer, nhờ vào quyền tạm thời từ AWS IAM.

Lập trình viên cần đọc bài này để khám phá cách tự động kết nối dữ liệu từ S3 với Databricks một cách an toàn và dễ dàng thông qua ủy quyền IAM tạm thời, giúp tiết kiệm thời gian và tránh rủi ro liên quan đến mật khẩu vĩnh viễn.

Why R&D Data Belongs in the Lakehouse - and Why Agents Need It There

How four years of Unity Catalog discipline, Lakehouse Federation, and data product engineering became a governed AI context layer with one UI for humans and an MCP server for agents.

How Unity Catalog managed tables bring interoperability, performance, and unified governance to the Lakehouse

External access to Unity Catalog (UC) managed Delta tables is now in Public Preview, allowing engines like Apache Spark, Flink, Starburst, and DuckDB to create, read, and write to UC managed tables with centralized governance enforced. Built on open APIs for metadata, credential vending, and commit coordination, the feature eliminates the trade-off between performance and multi-engine flexibility that previously forced teams to use external tables. Predictive Optimization automatically tunes managed tables, delivering up to 50% storage cost savings and 20x faster queries. Cross-engine ABAC enables row filtering and column masking across all engines. Existing external tables can be upgraded in place using ALTER TABLE SET MANAGED. The ecosystem is expanding via Delta Kernel, which lets engines like DuckDB integrate without reimplementing the Delta protocol, and a new Kernel-based Flink connector is in development.

Barracuda makes security logs conversational with Genie

Barracuda giới thiệu tính năng AI-Powered Log Search sử dụng Databricks Genie, cho phép phân tích viên bảo mật truy vấn logs bằng ngôn ngữ tự nhiên thay vì SQL. Hệ thống hỗ trợ đa nhà cung cấp (WatchGuard, Fortinet, Palo Alto, Microsoft 365, AWS) và đảm bảo phân tách multi-tenant chặt chẽ thông qua Unity Catalog, giảm thời gian điều tra logs từ hàng giờ xuống vài phút.

Lập trình viên nên đọc để hiểu cách tích hợp AI với hệ thống quản lý an ninh bằng cách chuyển đổi từ ngôn ngữ kỹ thuật (SQL) sang ngôn ngữ tự nhiên, giúp tối ưu hóa hiệu suất và giảm thiểu công việc thủ công trong phân tích dữ liệu an ninh.

Automatic Upgrades: best practice features for your lakehouse tables

Databricks giới thiệu tính năng Automatic Upgrades cho các bảng quản lý bởi Unity Catalog, tự động áp dụng các tính năng Delta Lake như Row Tracking và Checkpoint V2 mà không cần lệnh ALTER TABLE thủ công. Hệ thống quan sát mẫu truy cập bảng trong 100 ngày, xác minh tương thích client, rồi kích hoạt tính năng qua background job, miễn phí trong giai đoạn Gated Public Preview.

Lập trình viên nên đọc bài này để khám phá cách tự động hóa nâng cấp các tính năng tối ưu Delta Lake như theo dõi hàng và checkpoint v2 mà không cần can thiệp thủ công, giúp tiết kiệm thời gian và bảo đảm hiệu suất cho các dự án Unity Catalog.

Reimagining Data Modeling on the Lakehouse: Introducing Vibe Data Modeling

Vibe Data Modeling is a multi-model LLM agent from Databricks that converts plain-English business descriptions into a complete, governed Silver-layer data model deployed to Unity Catalog. Instead of spending months hand-building or adapting generic industry templates, teams can generate a production-ready model in hours. The agent runs a four-stage pipeline (understand, design, connect, deploy), enforces 251 validation rules, uses architect gates for structural integrity, and ensures a single source of truth via a directed acyclic graph of foreign keys. Iteration is done in plain English through structured verification requirements, with every version auditable and reversible. The same notebook supports six operations and can produce both a Minimum Viable Model and an Expanded Coverage Model from the same engine.

How to Build Privacy-Safe Cross-Organizational Data Joins with Databricks Cleanrooms

A practical guide to setting up Databricks Cleanrooms for privacy-safe cross-organizational data joins, drawn from real production experience. Covers Unity Catalog governance policies (row-level filters, column masking with HMAC tokens), provider and consumer configuration using the Databricks Python SDK, writing a privacy-safe PySpark notebook with mandatory cohort-size guards, and hard-won production pitfalls: token alignment failures, silently expiring Delta Sharing credentials, compute cost surprises, and result review bottlenecks. Also addresses regulatory mapping (PCI-DSS, GLBA, CCPA, SOX), revocation pipelines, differential privacy considerations, and an honest comparison against AWS Clean Rooms, Google Analytics Hub, federated learning, and synthetic data approaches. Ends with an unresolved question about audit log portability when partnerships dissolve.

How the English Office for Students leverages Databricks to enhance higher education standards and drive better student outcomes

Cơ quan Giáo dục Đại học Anh (Office for Students) đã chuyển từ nền tảng phân tích cũ sang Databricks, giúp giảm thời gian xử lý dữ liệu 300 triệu bản ghi từ 8 giờ xuống vài phút và rút ngắn phân tích phân khúc sinh viên từ hai tuần xuống nửa ngày. Việc hợp nhất dữ liệu có cấu trúc, định tính và gần thời gian thực trên nền tảng quản trị thống nhất (Unity Catalog) cùng các công cụ AI như Genie Code đã tăng tốc độ phân tích, duy trì truy xuất dữ liệu và hỗ trợ ra quyết định có kiểm soát.

Lập trình viên nên đọc bài này để hiểu cách Databricks tích hợp AI/ML và quản lý dữ liệu quy mô lớn giúp tổ chức giáo dục tự động hóa phân tích dữ liệu, cải thiện hiệu quả công việc và đảm bảo tính minh bạch trong quyết định liên quan đến học sinh.

What if the answer was already in your data?

Kythera Labs has built an AI-native healthcare strategy platform on Databricks that democratizes expert analytical intelligence for health systems of all sizes. The platform processes 339 billion medical and prescription drug claims covering 300 million patients, transforming raw billing data into event-based structures that AI agents can reason over. Built on Databricks technologies including Unity Catalog, Delta Lake, Lakebase, and Agent Bricks, the platform enables health system executives to ask complex strategic questions in plain language and receive actionable answers in minutes rather than weeks. A Louisiana health system went live within 10 days of signing, gaining 150% increased patient encounter visibility and $3.8M in estimated annualized value. The platform enforces HIPAA-compliant data governance through Unity Catalog, ensuring role-based access and full audit trails. Kythera's roadmap extends beyond guided analytics toward autonomous decisioning, where insights automatically trigger operational workflows.