Tin lập trình mới nhất về data-engineering, tóm tắt tiếng Việt bằng AI.
Apache Airflow 3.4.0 introduces bounded Task Loops for iterative workflows, Dag authoring beyond Python (TypeScript, Go, Java, and YAML) on the new AIP-85 Dag Importer, and a maturing Common AI provider for running LLM and agent tasks with built-in human approval.
Best Practices for Scoping and Organising Snowflake Semantic Views Snowflake Semantic Views provide a governed, reusable layer that defines how tables relate, what metrics mean, and who can access …
Delta Kernel là thư viện dựa trên Rust từ Databricks và đội ngũ Delta Lake, cung cấp API thống nhất để đọc và ghi vào Delta table. Các công cụ như DuckDB và Polars gặp khó khăn khi theo kịp các thay đổi không tương thích ngược của Delta Protocol như deletion vectors, vấn đề mà Delta Kernel giải quyết. Tác giả xây dựng một CLI nhỏ bằng Rust sử dụng Delta Kernel để nhập CSV vào Delta table trên S3 và xuất Delta table sang Parquet, bao gồm snapshot creation, schema checks, transactions và commits. Delta Kernel được định vị là cơ sở hạ tầng nền tảng, tương tự DataFusion, mà các công cụ khác sẽ ngày càng dựa vào, cùng với các Rust crate mới cho Unity Catalog.
Delta Kernel cung cấp API thống nhất để đọc và ghi Delta tables, giải quyết vấn đề tương thích với các thay đổi protocol như deletion vectors.
Snowflake Business Ontology lets teams define, own and approve business terms and metrics so AI agents and people work from the same governed definitions.
Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).
Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.
Polars là thư viện DataFrame viết bằng Rust có API Python, và bản pre‑release 2.0 đang được công bố. Phiên bản này tích hợp streaming engine vào mọi truy vấn lazy, cho phép thực hiện xử lý luồng thay vì tải toàn bộ dữ liệu vào bộ nhớ. Với streaming engine, các truy vấn lazy có thể làm việc trên tập dữ liệu lớn hơn RAM mà mức tiêu thụ bộ nhớ gần như không đổi, đồng thời giảm thời gian thực hiện do tránh việc sao chép dữ liệu trung gian. Việc đưa streaming engine vào mô hình lazy cho thấy cách mở rộng khả năng xử lý dữ liệu lớn mà không cần thay đổi API hiện tại, nên các nhà phát triển cân nhắc nâng cấp để xử lý workload out‑of‑core. Bản pre‑release vẫn có thể thay đổi, vì vậy trước khi áp dụng trong sản phẩm nên kiểm tra tính ổn định và benchmark trên dữ liệu thực tế.
Polars 2.0 giới thiệu công cụ streaming cho tất cả các truy vấn lazy, giúp xử lý dữ liệu lớn hiệu quả hơn.
Learn how to upload local files to a Microsoft Fabric Lakehouse, store them in OneLake, and load CSV data into Delta tables for analysis.
Benchmark với 528 lần build cho thấy pipeline declarative trong Spark phát hiện lỗi cấu trúc trước khi thực thi, giảm thời gian cluster của các build đo đạc được khoảng 34 lần so với PySpark quy trình. Việc sử dụng Spark declarative pipelines giúp tối ưu hóa hiệu suất đáng kể nhờ phát hiện sớm các vấn đề về cấu trúc. Ngôn ngữ pipeline declarative cung cấp khả năng kiểm tra lỗi tĩnh mà procedural approach không có. Đáng học hỏi ở đây là cách tiếp cận declarative có thể cải thiện hiệu suất lên đến hơn 30 lần trong các môi trường xử lý dữ liệu lớn.
Đọc bài này giúp lập trình viên hiểu được cách Spark Declarative Pipelines giúp giảm thời gian chạy cluster lên đến 34 lần so với PySpark thông thường.
LeetCode vốn hướng đến lập trình viên phần mềm, trong khi phỏng vấn data engineer lại yêu cầu kỹ năng khác. Bài viết gợi ý những nội dung thực tế cần luyện tập cho data engineer vào năm 2026.
Bạn nên đọc bài này để khám phá những kỹ năng thực tế và kỹ thuật cụ thể của data engineering—khác với các câu hỏi về lập trình truyền thống—để chuẩn bị tốt cho các cuộc phỏng vấn năm 2026.
iSAM Funds đối mặt với bài toán xử lý dữ liệu options với quy mô 10,000 lần lớn hơn thông thường. Họ sử dụng ClickHouse Cloud để giải quyết vấn đề này, đạt mức nén dữ liệu 35-50x và tốc độ nhập dữ liệu single-core nhanh hơn 100 lần. Nhờ giải pháp này, họ đã đơn giản hóa đáng kể các pipeline dữ liệu phức tạp. Bài viết cho thấy sức mạnh của ClickHouse trong xử lý dữ liệu tài chính lớn với hiệu suất vượt trội.
Bài viết này giúp lập trình viên hiểu cách ClickHouse Cloud giải quyết bài toán xử lý lượng dữ liệu lớn với hiệu suất vượt trội.
Khi lập trình viên tạo ít code hơn, khối lượng công việc chuyển từ xác minh bởi con người sang agent verification. Nguyên nhân kỹ thuật là hệ thống AI ngày càng tự động hóa quy trình phân tích dữ liệu, yêu cầu test suites phải được thiết kế lại để hỗ trợ agents. Hệ quả là xác minh kết quả agent-generated analytics trở nên quan trọng hơn với chi phí thấp hơn nhờ vào iterative test suites. Bài viết đưa ra giải pháp kết hợp human intuition với unified data lineage để nâng cao độ tin cậy, giảm 40% lỗi trong các dự án thực tế. Điều đáng học là việc triển khai agent verification không thay thế mà bổ sung kỹ năng của con người, tạo ra môi trường phát triển hiệu quả hơn với các công cụ như Apache Atlas và Datahub.
Bài viết giúp lập trình viên hiểu cách chuyển trọng lượng kiểm tra từ con người sang agent bằng bộ test lặp lại để xác minh phân tích do agent tạo ra.
Snowflake đang triển khai một kiến trúc Operational Ontology giúp các AI agent có thể lý luận về trạng thái vận hành, mô phỏng quyết định và thực thi các hành động được quản lý. Giải pháp này tận dụng sức mạnh của Snowflake Data Cloud để kết nối dữ liệu có ý nghĩa với hành động thực tế trong môi trường doanh nghiệp. Kiến trúc này sử dụng ontology để mã hóa kiến thức nghiệp vụ cho phép hệ thống hiểu được mối quan hệ giữa các khái niệm và thực thể. Quan trọng nhất, nó cho phép AI agent verify kết quả trong thế giới thực bằng cách so sánh giữa dự đoán và thực tế hoạt động, giúp giảm thiểu rủi ro khi triển khai AI vào quy trình nghiệp vụ.
Bài viết này giúp lập trình viên hiểu cách triển khai kiến trúc operational ontology trên Snowflake để phát triển AI agent có khả năng ra quyết định và hành động được quản lý.
ETL do AI tạo ra hoạt động hoàn hảo trong ngày đầu tiên, nhưng gặp sự cố khi có file trễ, file trùng và file chứa toàn số zero. Các vấn đề này phát sinh do AI chưa được huấn luyện với các trường hợp ngoại lệ và dữ liệu bất thường trong quy trình thực tế. Hệ quả là hệ thống sụp đổ khi gặp dữ liệu không như kỳ vọng, trong khi job ETL cũ đã xử lý được những tình huống tương tự nhờ kinh nghiệm tích lũy. Bài viết nhắc nhở chúng ta rằng AI cần được huấn luyện với nhiều tình huống edge case hơn và cần có cơ chế fallback cho các hệ thống quan trọng.
Bài viết này giúp lập trình viên nhận thức được những thách thức thực tế khi triển khai AI generated ETL mà có thể không được đề cập trong các bài test ban đầu.
Trong bối cảnh pipeline dữ liệu thường gặp sự cố, Snowflake đã phát triển AI agent tự động chẩn đoán và đề xuất sửa chữa. Agent này sử dụng các công nghệ như Amazon Bedrock, LangChain và FTS (Fine-Tuned Selector) để phân tích lỗi và đưa ra giải pháp chính xác. Nhờ đó, thời gian khắc phục được rút ngắn từ vài ngày xuống còn dưới 16 phút. Điều đáng học là cách họ kết hợp LLM với cơ sở kiến thức chuyên môn về pipeline để tạo ra hệ thống hỗ trợ tự động hiệu quả.
Bài viết tiết lộ quy trình xây dựng AI agent tự chẩn đoán và sửa đường dẫn dữ liệu hỏng chỉ trong 16 phút của Snowflake.
Các script batch transform trong Data 360 giúp bạn thực thi logic Python tùy biến để xử lý data lake objects (DLOs) và data model objects (DMOs) trong môi trường tính toán riêng biệt. Bài viết tập trung vào các ví dụ nâng cao sử dụng PySpark cho batch data transforms, cho phép xử lý dữ liệu quy mô lớn với hiệu suất cao. Công nghệ PySpark được tối ưu hóa để chạy trên cluster Apache Spark, giúp tăng tốc độ xử lý dữ liệu lớn lên đến 10-100 lần so với xử lý tuần tự thông thường. Các kỹ sư có thể học hỏi cách kết hợp PySpark với Data 360 API để tạo pipeline xử lý dữ liệu phức tạp, đặc biệt hữu ích khi cần xử lý dữ liệu không cấu trúc hoặc thực hiện các phép toán toán học phức tạp trên dữ liệu lớn.
Các lập trình viên nên đọc bài này để học hỏi các ví dụ script nâng cao giúp tối ưu hóa việc biến đổi dữ liệu hàng loạt bằng PySpark trong Data 360.
DuckDB Skills for Claude Code bổ sung nhiều khả năng mới cho Claude Code, cho phép sử dụng DuckDB CLI để đọc file dữ liệu, chạy truy vấn và chuyển đổi định dạng. Plugin này hỗ trợ làm việc với spatial data, khám phá object storage, tìm kiếm tài liệu và truy hồi các phiên làm việc trước. Các kỹ năng được triển khai thông qua CLI DuckDB giúp xử lý hiệu quả nhiều loại file dữ liệu khác nhau. Đây là giải pháp hữu ích cho lập trình viên cần xử lý phân tích dữ liệu trực tiếp trong môi trường Claude Code.
Plugin duckdb-skills giúp Claude Code mở rộng khả năng xử lý dữ liệu với nhiều kỹ thuật hữu ích từ DuckDB CLI.
prompt_jev() giờ đã hỗ trợ xử lý hình ảnh bằng cách lưu chúng dưới dạng BLOB trong MotherDuck. Hàm này sử dụng SQL để đặt các câu hỏi đóng và trả về kết quả có kiểu dữ liệu rõ ràng cùng điểm tin cậy (confidence score). Lập trình viên có thể kết hợp điểm tin cậy này với dữ liệu khác để phân tích sâu hơn. Tính năng này giúp tăng khả năng tích hợp AI với cơ sở dữ liệu SQL hiện có mà không cần hệ thống phức tạp.
prompt_jev() giờ xử lý được hình ảnh giúp bạn khai phá dữ liệu đa dạng và trả lời câu hỏi trực tiếp từ hình ảnh với điểm tin cậy định lượng.
Semantic Studio đã chính thức ra mắt, cho phép lập trình viên tạo, debug và triển khai semantic views ngay trong Snowflake Workspaces. Công nghệ tích hợp Snowflake CoCo cùng quản lý phiên bản git và CI/CD trong một môi trường duy nhất giúp tăng hiệu suất làm việc. Việc này giảm thiểu sự phức tạp khi phải chuyển đổi giữa các công cụ khác nhau khi làm việc với dữ liệu có cấu trúc. Đối với các nhà phát triển Snowflake, đây là giải pháp giúp tối ưu hóa quy trình phát triển ứng dụng dữ liệu đáng cân nhắc.
Semantic Studio giúp lập trình viên quản lý và phát triển semantic views trong Snowflake Workspaces với các công cụ hiện đại như CoCo, git versioning và CI/CD.
Atlassian giới thiệu Insights, một nền tảng kế thừa từ Analytics app, tích hợp các chỉ số được quản lý, định nghĩa từ điển dữ liệu, đường dẫn dòng dữ liệu và tín hiệu chất lượng vào Teamwork Graph. Giải pháp này cho phép teams kết nối data warehouse, cơ sở dữ liệu, pipeline và công cụ trực quan hóa mà không cần sao chép dữ liệu, cung cấp ngữ cảnh chia sẻ đáng tin cậy cho AI và Rovo agents trả lời câu hỏi kinh doanh. Insights bổ sung chức năng phân tích hội thoại (conversational analytics) để teams khám phá dữ liệu bằng ngôn ngữ tự nhiên trên các ứng dụng Atlassian, thay vì chờ xử lý ticket từ data team hay phụ thuộc vào dashboard cố định. Insights sẽ được triển khai cho tất cả khách hàng Atlassian Cloud trả phí theo từng giai đoạn bắt đầu sau sự kiện Team '26 Europe.
Insights giúp các nhóm truy cập và phân tích dữ liệu một cách dễ dàng mà không cần chờ đợi đội dữ liệu, nhờ vào việc tích hợp ngữ cảnh dữ liệu vào Teamwork Graph.
Data Outpost là hội nghị AI và dữ liệu diễn ra tại San Francisco vào ngày 5 tháng 11 năm 2026 với 13 phiên thảo luận từ các đội ngũ tại Canva, Stripe, DoorDash, Posit, dbt và nhiều công ty khác. Hội nghị tập trung vào các chủ đề tiên tiến như agents tự động viết mã, context layers, SQL harnesses và AI cho dữ liệu được quản lý chặt chẽ. Mỗi phiên thảo luận sẽ cung cấp kiến thức thực tiễn về cách các công nghệ AI được áp dụng trong giải quyết vấn đề dữ liệu thực tế. Người tham dự sẽ rời đi với những hiểu biết cụ thể về triển khai AI và quản lý dữ liệu hiệu quả trong các hệ thống phức tạp.
Bài cung cấp cái nhìn sâu về ứng dụng thực tế AI trong xử lý dữ liệu từ những công ty công nghệ hàng đầu.
Replace scheduled file and API feeds with a live shared Delta table: set up the share, query it directly, or read it incrementally.
Replace SFTP and API feeds with OpenSharing: read customer tables in place, pull only new changes with change data feed, and make backfills a simple query.
Query Databricks Lakeflow Pipeline Tables from Snowflake, Without Copying Data Streaming tables and materialized views, read in place as Iceberg: the settings that matter, what the logs show, and the …
OpenSharing, Clean Rooms, or Marketplace? Learn which Databricks data collaboration tool fits your use case based on who is on the other side of the data.
Polars Cloud becomes Polars Nanook as the platform matures beyond cloud managed compute to a full data platform for both cloud and on-premise (airgapped) environments.
Learn about our latest advancements to delivering agentic-first experiences, borderless data, and trusted context for all your agents.
A sales representative asks an AI agent for customer pricing, and the agent pulls data from multiple sources: restricted pricing systems, internal communications, and archived quotes. The output looks accurate to the agent, so a second agent uses the data to draft the proposal for the sales rep. No human checks either handoff. When it’s…
Analytics, Search, AI, Python Sandbox — unified in Rust. Native on S3.
We are releasing our new observability UI, the interface to the dltHub context graph, to General Availability. Find out how this will help you solve missing data when everything looks right at the surface from your pipelines.
In just a few years, generative AI has changed the face of enterprise analytics, notably by making analytics accessible to users across the organization. Agentic AI promises to do even more, by automating entire workflows and taking actions based on agent insights. But there is a problem: The quality of insights that agents currently generate…
In this video, I walk through how to architect and implement a Cross-Tenant Delegated OneLake Shortcut in Microsoft Fabric.
How Halodoc moved Redshift from RA3 to Graviton-based RG instances, validated the change, and got faster queries at 32% lower cost.
When an open source license change hit our data engineering dependencies, we weighed a fork against source-available risk. Here's what we le
How schema-on-read shortcuts turn enterprise data lakes into unqueryable data swamps, burning $80,000 a month on corrupted CSVs and dark data.
How the Velox Iceberg connector reads and writes Iceberg V3 deletion vectors, and reads row lineage, default values, and geospatial types.
DuckDB 2.0 is moving toward a more client/server architecture. Polars 2.0/2.1 is fixing core issues and moving toward default streaming and spill-to-disk behavior. The post frames these as the direction each project is heading.
Behind Every Insight, There Is Data Engineering From a customer click to a business decision — understanding the data journey and getting started with Databricks You order a pair of shoes from an …
Summary of the 16:00 Panel discussion: The future of data teams and their tools hosted by MotherDuck
Learn how to query Databricks Iceberg tables with Lakehouse runtime catalog through bi-directional federation with Databricks Unity Catalog.
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
Cổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trình1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíAI IDE 22 MB cho dev Việt.
Tải miễn phíBộ nhớ tổ chức cho AI agent.
Khám pháAI trực Fanpage, tự sàng lọc lead.
Dùng thử