The Apache Iceberg community has adopted two new REST Catalog specs, read restrictions and catalog labels, that extend the Open Lakehouse governance vision. Read restrictions let a catalog delegate policy enforcement to a trusted external engine (like a securely configured Trino) by returning column-projection actions and row-filter expressions rather than raw policy definitions, though the spec deliberately leaves trust establishment outside its scope. Catalog labels let federated catalogs (Unity Catalog, Snowflake, AWS Lake Formation, Google Cloud Knowledge Catalog) exchange lightweight key-value metadata such as PII classifications, which the consuming catalog maps into its own native policy model and enforces locally. Neither mechanism replaces centralized enforcement approaches like Databricks' Cross-Engine ABAC for untrusted engines such as user-controlled Spark or DuckDB; instead the three approaches are complementary depending on whether the destination is an untrusted engine, a trusted engine, or another catalog.
Nguồn: https://www.databricks.com/blog/unifying-governance-across-engines-and-catalogs-open-lakehouse. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đang tải bình luận…
Trong lĩnh vực tài chính, việc tuân thủ quy định Solvency II luôn đòi hỏi quy trình báo cáo phức tạp. Databricks cung cấp một nền tảng duy nhất cho phép triển khai toàn bộ chu kỳ báo cáo Solvency II như một workflow được quản lý, kết nối dữ liệu, mô hình và AI để đơn giản hóa việc tuân thủ và phân tích kịch bản. Giải pháp này giúp các tổ chức tài chính giảm thời gian báo cáo từ vài tuần xuống còn vài ngày, đồng thời tăng tính nhất quán và giảm sai sót. Đối với các lập trình viên làm việc trong lĩnh vực FinTech, bài viết này cung cấp hướng dẫn thực tế về cách thiết lập hệ thống báo cáo end-to-end trên Databricks. Bạn sẽ học được cách tối ưu hóa quy trình xử lý dữ liệu lớn và tích hợp các mô hình rủi ro phức tạp vào một nền tảng thống nhất.
Bài viết này giúp lập trình viên hiểu cách triển khai chu trình báo cáo Solvency II toàn diện trên Databricks với quy trình được quản lý tập trung.
Polars là thư viện DataFrame viết bằng Rust có API Python, và bản pre‑release 2.0 đang được công bố. Phiên bản này tích hợp streaming engine vào mọi truy vấn lazy, cho phép thực hiện xử lý luồng thay vì tải toàn bộ dữ liệu vào bộ nhớ. Với streaming engine, các truy vấn lazy có thể làm việc trên tập dữ liệu lớn hơn RAM mà mức tiêu thụ bộ nhớ gần như không đổi, đồng thời giảm thời gian thực hiện do tránh việc sao chép dữ liệu trung gian. Việc đưa streaming engine vào mô hình lazy cho thấy cách mở rộng khả năng xử lý dữ liệu lớn mà không cần thay đổi API hiện tại, nên các nhà phát triển cân nhắc nâng cấp để xử lý workload out‑of‑core. Bản pre‑release vẫn có thể thay đổi, vì vậy trước khi áp dụng trong sản phẩm nên kiểm tra tính ổn định và benchmark trên dữ liệu thực tế.
Polars 2.0 giới thiệu công cụ streaming cho tất cả các truy vấn lazy, giúp xử lý dữ liệu lớn hiệu quả hơn.
Trong bối cảnh bùng nổ ứng dụng AI, công nghệ data ingestion đang đối mặt với cuộc khủng hoảng nghiêm trọng do nhu cầu xử lý dữ liệu khổng lồ vượt quá khả năng cung ứng. Nguyên nhân kỹ thuật nằm ở các system như Airbyte gặp phải bottleneck khi xử lý concurrent pipelines và metadata management không hiệu quả, dẫn đến hệ quả là các agent (thực thể xử lý dữ liệu) rơi vào trạng thái starving - thiếu dữ liệu để xử lý. Điều đáng học là việc tối ưu hóa data ingestion pipeline bằng cách áp dụng sharding strategies và caching mechanism tại nguồn dữ liệu có thể cải thiện hiệu suất lên tới 70% như case study của Michel Tricot từ Airbyte. Các công ty cần cân nhắc đầu tư vào kiến tractus data ingestion có khả năng scale-out để đáp ứng nhu cầu xử lý real-time data từ hàng ngàn nguồn khác nhau, đặc biệt khi NVIDIA vừa chính thức mua lại Hugging Face và OpenClaw 2.0 đã hỗ trợ multiplayer mode.
Bài viết giúp lập trình viên hiểu về cuộc khủng hoảng nhập dữ liệu và cách các công nghệ mới như Hugging Face và NVIDIA đang giải quyết vấn đề này.
Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).
Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.
Bối cảnh: Bài viết trình bày việc sử dụng Snowflake để phát hiện impersonator thông qua việc đo lường khoảng cách giữa nghĩa và cách viết trong tập dữ liệu gồm 45,400 tổ chức từ thiện. Nguyên nhân kỹ thuật: Tác giả đã chạy một câu lệnh SQL trên cột VECTOR(768) để phân tích 2,917,459 cặp dữ liệu thực tế. Hệ quả: Phân tích này giúp xác định những gì bộ phát hiện phát hiện được và bỏ sót, cho thấy hạn chế trong việc nhận dạng impersonator. Điều đáng học: Cách tiếp cận này có thể hữu ích cho các lập trình viên đang xây dựng hệ thống phát hiện gian lận hoặc xác thực danh tính trong các dự án sử dụng Snowflake.
Bài viết này giúp lập trình viên hiểu cách phát hiện gian lận bằng cách phân tích sự khác biệt giữa nghĩa và cách đánh máy trong SQL trên Snowflake.
Bối cảnh: Khi các stack dữ liệu hiện đại như Iceberg + dbt thường đòi hỏi chi phí đám mây hàng chục nghìn đô mỗi năm, nhiều lập trình viên tìm cách luyện tập mà không tốn tiền. Nguyên nhân kỹ thuật: DuckDB là một hệ quản trị cơ sở dữ liệu OLAP trong tiến trình, vừa hỗ trợ đọc ghi bảng Apache Iceberg qua extension, vừa có thể chạy dbt Core như một plugin local. Hệ quả: Nhờ đó, một máy laptop có thể mô phỏng toàn bộ pipeline lakehouse – từ ingest, transform cho tới test – mà không cần tài khoản AWS, Azure hoặc GCP, từ đó giảm chi phí thực hành xuống gần zero. Điều đáng học: Khi thành thạo việc kết hợp DuckDB, Iceberg extension và dbt locally, bạn đã nắm được kỹ năng mà các công ty trả lương hàng năm lên tới 400.000 USD cho vị trí Data Engineer, mà không phải đầu tư vào dịch vụ đám mây. Bài viết khuyên bạn nên cài đặt DuckDB, thêm extension iceberg và khởi dbt dự án mẫu để bắt đầu thực hành ngay hôm nay.
DuckDB cho phép bạn thực hành stack data engineering trị giá 400K USD ngay trên laptop mà không cần chi phí cloud.
DuckDB phiên bản 1.5.4 (Variegata) vừa ra mắt với nhiều bản sửa lỗi quan trọng, tối ưu hiệu năng và vá lỗ hổng bảo mật. Phiên bản này cải thiện xử lý JSON, sửa lỗi crash nghiêm trọng như double free trong Arrow GeoArrow CRS, đồng thời bổ sung tùy chọn giao diện dòng lệnh (CLI) dark/light mode. Nhóm phát triển cũng hé lộ kế hoạch phát hành DuckDB 2.0.0 vào mùa thu sắp tới.
Lập trình viên cần đọc bài này để cập nhật về các cải tiến mới trong DuckDB, đặc biệt là các sửa lỗi quan trọng về kết hợp dữ liệu, xử lý JSON, và hiệu suất—điều này sẽ giúp họ tối ưu hóa các ứng dụng xử lý dữ liệu lớn và tăng tính ổn định cho hệ thống.
LeetCode vốn hướng đến lập trình viên phần mềm, trong khi phỏng vấn data engineer lại yêu cầu kỹ năng khác. Bài viết gợi ý những nội dung thực tế cần luyện tập cho data engineer vào năm 2026.
Bạn nên đọc bài này để khám phá những kỹ năng thực tế và kỹ thuật cụ thể của data engineering—khác với các câu hỏi về lập trình truyền thống—để chuẩn bị tốt cho các cuộc phỏng vấn năm 2026.
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
Cổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trình1.000+ bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíAI IDE 22 MB cho dev Việt.
Tải miễn phíBộ nhớ tổ chức cho AI agent.
Khám pháAI trực Fanpage, tự sàng lọc lead.
Dùng thử