From Spreadsheets to DuckLake: A Data Engineer's Road to DuckDB

Dive Apps: Superpowers for AI Builders

MotherDuck is launching Dive Apps: fully custom data apps that can write-back anywhere. Build them with your agent and they run on the MotherDuck data warehouse. Use Dive Apps to replace SaaS apps, automate your operations, or bring humans into the loop to steer your agents.

How Uber Built a Genie to Answer Questions Correctly

Uber xây dựng Genie để xử lý câu hỏi của tài xế và hành khách. Hệ thống sử dụng Elasticsearch để tìm kiếm kiến thức từ 1.5 triệu tài liệu và kết nối với 60 service backend khác nhau. Phần xử lý ngôn ngữ tự nhiên (NLP) giúp Genie hiểu ngữ cảnh và trích xuất thông tin chính xác. Kết quả là hệ thống xử lý 95% câu hỏi thường gặp mà không cần can thiệp của con người. Lập trình viên nên đọc để hiểu cách Uber tích hợp Elasticsearch, NLP và kiến thức chuyên ngành vào chatbot cho hệ thống phức tạp.

Bài viết này sẽ giúp lập trình viên nắm vạch cách Uber xây dựng Genie để xử lý truy vấn và tạo câu trả lời chính xác.

Announcing DuckDB 1.5.6

DuckDB phiên bản 1.5.6 vừa được ra mắt với các bản vá lỗi và cải thiện hiệu năng. Bản cập nhật này tập trung vào tối ưu hóa truy vấn SQL và cải thiện hiệu suất khi xử lý lượng lớn dữ liệu. Phiên bản mới này sửa lỗi liên quan đến window functions và cải thiện hiệu suất khi sử dụng JOIN operation. Các nhà phát triển làm việc với analytical workloads sẽ thấy hiệu năng cải thiện đáng kể, đặc biệt khi xử lý data partitioning. Nếu bạn đang sử dụng DuckDB cho xử lý dữ liệu offline hoặc embedded analytics, bản cập nhật này đáng để xem xét nâng cấp.

Phiên bản DuckDB 1.5.6 mang lại những cải tiến hiệu năng và sửa lỗi quan trọng mà lập trình viên cần biết để tối ưu hóa hệ thống cơ sở dữ liệu của họ.

Why DuckDB 2.0 is faster

DuckDB 2.0 mang lại hiệu suất vượt trội với recursive CTEs nhanh hơn tới 90x so với phiên bản 1.5.5, kiểu dữ VARIANT xử lý nhanh hơn 6x so với JSON text, và async I/O trên S3 tăng 2.4x. Sự cải thiện đến từ tối ưu hóa engine xử lý, đặc biệt là việc bổ sung cache-aware execution plan và cải thiện cách quản lý memory cho variant data. Điều này cho thấy việc hiểu cách DuckDB lưu trữ và xử lý dữ liệu (đặc biệt với variant và variant types) sẽ giúp tối ưu hóa truy vấn tốt hơn. Bài viết cung cấp những insight thực tế về cách thiết kế schema dữ liệu để tận dụng tối đa hiệu năng mới mà không cần thay đổi code ứng dụng.

DuckDB 2.0 mang đến tốc độ vượt trội với cải tiến đáng kể trong CTE đệ quy, xử lý VARIANT và I/O bất đồng bộ, giúp lập trình viên tối ưu hiệu suất truy vấn dữ liệu.

Apache Iceberg on AWS, Part 1: What It Is, Why You Need It, and How It Works

Apache Iceberg đang trở thành giải pháp quản lý dữ liệu lớn trên AWS, giải quyết vấn đề giới hạn của format truyền thống như Parquet hay ORC. Công nghệ này sử dụng schema-on-read và manifest file để hỗ trợ schema evolution và time travel, cho phép truy vấn dữ liệu hiệu quả mà không cần rewrite toàn bộ dataset. Hệ quả là giảm 40% chi phí storage và tăng 60% hiệu suất query trên các datasets hàng petabyte tại Netflix. Điểm đáng học là Iceberg tương thích hoàn toàn với Spark, Flink và Presto, cho phép doanh nghiệp hiện đại hóa data lake mà không cần thay đổi stack xử lý hiện tại.

Bài viết giúp lập trình viên hiểu rõ khái niệm Apache Iceberg trên AWS, nền tảng quan trọng cho xử lý dữ liệu lớn hiện đại.

As humans write less code: workloads shift from human to agent verification with iterative test suites

Khi lập trình viên tạo ít code hơn, khối lượng công việc chuyển từ xác minh bởi con người sang agent verification. Nguyên nhân kỹ thuật là hệ thống AI ngày càng tự động hóa quy trình phân tích dữ liệu, yêu cầu test suites phải được thiết kế lại để hỗ trợ agents. Hệ quả là xác minh kết quả agent-generated analytics trở nên quan trọng hơn với chi phí thấp hơn nhờ vào iterative test suites. Bài viết đưa ra giải pháp kết hợp human intuition với unified data lineage để nâng cao độ tin cậy, giảm 40% lỗi trong các dự án thực tế. Điều đáng học là việc triển khai agent verification không thay thế mà bổ sung kỹ năng của con người, tạo ra môi trường phát triển hiệu quả hơn với các công cụ như Apache Atlas và Datahub.

Bài viết giúp lập trình viên hiểu cách chuyển trọng lượng kiểm tra từ con người sang agent bằng bộ test lặp lại để xác minh phân tích do agent tạo ra.

5 Jev use cases for analytics, with real queries and datasets

Bài viết trình bày 5 use case thực tế của prompt_jev() trên dữ liệu thật với SQL có thể chạy lại, bao gồm phân tích traces của AI agent, cảm xúc từ Hacker News, các cuộc gọi bán hàng, tin tuyển dụng cloud và regex replacement. Mỗi use case được minh họa bằng truy vấn SQL cụ thể và tập dữ liệu tương ứng. Các ví dụ này chứng minh cách prompt_jev() có thể tự động hóa phân tích dữ liệu văn bản phức tạp bằng SQL thông thường. Đây là tài liệu tham khảo hữu ích cho bất kỳ lập trình viên nào muốn tích hợp AI vào xử lý dữ liệu mà không cần thay đổi stack công nghệ hiện tại.

Bài viết cung cấp 5 trường hợp thực tế sử dụng prompt_jev() với dữ liệu có sẵn và truy vấn SQL có thể thực thi lại ngay lập tức.

Delta Kernel (Rust) and the future of the Lakehouse.

Delta Kernel là thư viện dựa trên Rust từ Databricks và đội ngũ Delta Lake, cung cấp API thống nhất để đọc và ghi vào Delta table. Các công cụ như DuckDB và Polars gặp khó khăn khi theo kịp các thay đổi không tương thích ngược của Delta Protocol như deletion vectors, vấn đề mà Delta Kernel giải quyết. Tác giả xây dựng một CLI nhỏ bằng Rust sử dụng Delta Kernel để nhập CSV vào Delta table trên S3 và xuất Delta table sang Parquet, bao gồm snapshot creation, schema checks, transactions và commits. Delta Kernel được định vị là cơ sở hạ tầng nền tảng, tương tự DataFusion, mà các công cụ khác sẽ ngày càng dựa vào, cùng với các Rust crate mới cho Unity Catalog.

Delta Kernel cung cấp API thống nhất để đọc và ghi Delta tables, giải quyết vấn đề tương thích với các thay đổi protocol như deletion vectors.