Slowly Changing Dimensions in Microsoft Fabric

Microsoft Fabric's Copy job now includes native SCD Type 2 support as a built-in write method, eliminating the need for custom PySpark notebooks or complex Dataflow Gen2 merge logic. When enabled, it automatically adds Valid_From, Valid_To, and Is_Current columns to the destination table, handles row expiration on updates, and soft-deletes removed records. The post explains when to choose Type 1 vs Type 2 (a business decision, not a tooling one), walks through the configuration steps, and details current limitations: connector support is limited to Azure SQL DB, Azure SQL MI, on-premises SQL Server, and Fabric Lakehouse tables; the destination table must be created by Copy job itself; column mappings cannot be changed after enabling SCD Type 2; and CDC must be enabled on the source. For cases requiring custom change-detection logic, unsupported connectors, or fine-grained surrogate key control, notebooks remain the better option.

Nguồn: https://bartwullems.blogspot.com/2026/07/slowly-changing-dimensions-in-microsoft.html. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

System Design Codex96 Hot4 phút8 ngày trướcAI

Monolith to Service Architecture

Di chuyển từ kiến trúc monolith sang microservices cần áp dụng các pattern cụ thể thay vì viết lại toàn bộ. Bốn chiến lược chính gồm: Strangler Fig (dần dần chuyển lưu lượng qua API gateway), Parallel Run (chạy song song để kiểm chứng), Collaborator (thêm microservices mới mà không sửa core), và Change Data Capture (đồng bộ dữ liệu real-time bằng Debezium/Kafka Connect). Các pattern này hiệu quả nhất khi kết hợp theo trình tự trong quá trình chuyển đổi.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ kiến trúc monolith sang microservices một cách chỉnh xác, ít rủi ro và tối ưu hóa hiệu suất, không phải là một thay đổi đột ngột mà là một quá trình thuần túy, có kế hoạch với các mẫu thiết kế hiệu quả.