Microsoft, Google back Apache Ossie to make enterprise data and AI platforms more interoperable

Ways to Load Data into a Microsoft Fabric Lakehouse: Upload Files

Learn how to upload local files to a Microsoft Fabric Lakehouse, store them in OneLake, and load CSV data into Delta tables for analysis.

Expanded semantic model support in Knowledge Catalog

Give AI agents the definitions you already trust. Knowledge Catalog ingests Looker, BigQuery, dbt, Snowflake, Databricks, and SAP semantic models.

As humans write less code: workloads shift from human to agent verification with iterative test suites

Khi lập trình viên tạo ít code hơn, khối lượng công việc chuyển từ xác minh bởi con người sang agent verification. Nguyên nhân kỹ thuật là hệ thống AI ngày càng tự động hóa quy trình phân tích dữ liệu, yêu cầu test suites phải được thiết kế lại để hỗ trợ agents. Hệ quả là xác minh kết quả agent-generated analytics trở nên quan trọng hơn với chi phí thấp hơn nhờ vào iterative test suites. Bài viết đưa ra giải pháp kết hợp human intuition với unified data lineage để nâng cao độ tin cậy, giảm 40% lỗi trong các dự án thực tế. Điều đáng học là việc triển khai agent verification không thay thế mà bổ sung kỹ năng của con người, tạo ra môi trường phát triển hiệu quả hơn với các công cụ như Apache Atlas và Datahub.

Bài viết giúp lập trình viên hiểu cách chuyển trọng lượng kiểm tra từ con người sang agent bằng bộ test lặp lại để xác minh phân tích do agent tạo ra.

How fast is the web? Explore billions of real-user measurements with BEACON

Cloudflare vừa công khai bộ dữ liệu BEACON chứa hàng tỷ bản ghi hiệu năng Real User Monitoring (RUM) ẩn danh trên Google BigQuery. Dữ liệu này đo tốc độ thực tế của web dựa trên hàng tỷ điểm đo từ người dùng thật khắp toàn cầu. BEACON cung cấp cái nhìn sâu sắc về hiệu năng trang web ở các khu vực địa lý khác nhau, cho thấy thời gian tải trang trung bình dao động từ 3.2 giây ở châu Âu lên đến 7.5 giây ở châu Phi. Các nhà phát triển có thể truy vấn trực tiếp bộ dữ liệu này để tối ưu hóa hiệu ứng Largest Contentful Paint (LCP) và First Input Delay (FID) của ứng dụng web. Dự án này là nguồn tài liệu tham khảo quý giá để hiểu sự khác biệt hiệu năng giữa các khu vực và cải thiện trải nghiệm người dùng toàn cầu.

Lập trình viên nên đọc bài này để truy cập vào bộ dữ liệu hàng tỷ ghi chú hiệu suất thực tế giúp tối ưu hóa hiệu năng website.

Delta Kernel (Rust) and the future of the Lakehouse.

Delta Kernel là thư viện dựa trên Rust từ Databricks và đội ngũ Delta Lake, cung cấp API thống nhất để đọc và ghi vào Delta table. Các công cụ như DuckDB và Polars gặp khó khăn khi theo kịp các thay đổi không tương thích ngược của Delta Protocol như deletion vectors, vấn đề mà Delta Kernel giải quyết. Tác giả xây dựng một CLI nhỏ bằng Rust sử dụng Delta Kernel để nhập CSV vào Delta table trên S3 và xuất Delta table sang Parquet, bao gồm snapshot creation, schema checks, transactions và commits. Delta Kernel được định vị là cơ sở hạ tầng nền tảng, tương tự DataFusion, mà các công cụ khác sẽ ngày càng dựa vào, cùng với các Rust crate mới cho Unity Catalog.

Delta Kernel cung cấp API thống nhất để đọc và ghi Delta tables, giải quyết vấn đề tương thích với các thay đổi protocol như deletion vectors.

Built for Agents: The Case for Spark Declarative Pipelines

Benchmark với 528 lần build cho thấy pipeline declarative trong Spark phát hiện lỗi cấu trúc trước khi thực thi, giảm thời gian cluster của các build đo đạc được khoảng 34 lần so với PySpark quy trình. Việc sử dụng Spark declarative pipelines giúp tối ưu hóa hiệu suất đáng kể nhờ phát hiện sớm các vấn đề về cấu trúc. Ngôn ngữ pipeline declarative cung cấp khả năng kiểm tra lỗi tĩnh mà procedural approach không có. Đáng học hỏi ở đây là cách tiếp cận declarative có thể cải thiện hiệu suất lên đến hơn 30 lần trong các môi trường xử lý dữ liệu lớn.

Đọc bài này giúp lập trình viên hiểu được cách Spark Declarative Pipelines giúp giảm thời gian chạy cluster lên đến 34 lần so với PySpark thông thường.

Postgres 19: How Our Advice Has Changed Since...

Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).

Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.

Operational Ontology on Snowflake: From Meaning to Action

Snowflake đang triển khai một kiến trúc Operational Ontology giúp các AI agent có thể lý luận về trạng thái vận hành, mô phỏng quyết định và thực thi các hành động được quản lý. Giải pháp này tận dụng sức mạnh của Snowflake Data Cloud để kết nối dữ liệu có ý nghĩa với hành động thực tế trong môi trường doanh nghiệp. Kiến trúc này sử dụng ontology để mã hóa kiến thức nghiệp vụ cho phép hệ thống hiểu được mối quan hệ giữa các khái niệm và thực thể. Quan trọng nhất, nó cho phép AI agent verify kết quả trong thế giới thực bằng cách so sánh giữa dự đoán và thực tế hoạt động, giúp giảm thiểu rủi ro khi triển khai AI vào quy trình nghiệp vụ.

Bài viết này giúp lập trình viên hiểu cách triển khai kiến trúc operational ontology trên Snowflake để phát triển AI agent có khả năng ra quyết định và hành động được quản lý.