Announcing DuckDB 1.5.5

DuckDB Just Put a $400K/Year Skill on Your Laptop

Bối cảnh: Khi các stack dữ liệu hiện đại như Iceberg + dbt thường đòi hỏi chi phí đám mây hàng chục nghìn đô mỗi năm, nhiều lập trình viên tìm cách luyện tập mà không tốn tiền. Nguyên nhân kỹ thuật: DuckDB là một hệ quản trị cơ sở dữ liệu OLAP trong tiến trình, vừa hỗ trợ đọc ghi bảng Apache Iceberg qua extension, vừa có thể chạy dbt Core như một plugin local. Hệ quả: Nhờ đó, một máy laptop có thể mô phỏng toàn bộ pipeline lakehouse – từ ingest, transform cho tới test – mà không cần tài khoản AWS, Azure hoặc GCP, từ đó giảm chi phí thực hành xuống gần zero. Điều đáng học: Khi thành thạo việc kết hợp DuckDB, Iceberg extension và dbt locally, bạn đã nắm được kỹ năng mà các công ty trả lương hàng năm lên tới 400.000 USD cho vị trí Data Engineer, mà không phải đầu tư vào dịch vụ đám mây. Bài viết khuyên bạn nên cài đặt DuckDB, thêm extension iceberg và khởi dbt dự án mẫu để bắt đầu thực hành ngay hôm nay.

DuckDB cho phép bạn thực hành stack data engineering trị giá 400K USD ngay trên laptop mà không cần chi phí cloud.

I Built a Version Bump Tool in Rust That Is 10,000x Faster Than Its Python Counterparts.

Nhiều dự án vẫn sử dụng script Python để tăng phiên bản trong quy trình CI, nhưng việc này thường tốn giây đến phút mỗi lần chạy do overhead của interpreter và các thư viện động. Tác giả đã viết lại công cụ tăng phiên bản bằng Rust, sử dụng crate clap để phân tích tham số và semver để xử lý số phiên bản, tất cả được biên dịch thành mã máy nguyên bản. Nhờ absence of runtime và tối ưu hóa tại thời điểm biên dịch, công cụ Rust thực hiện việc tăng phiên bản nhanh hơn 10.000 lần so với các counterpart Python tương đương. Khi tích hợp vào pipeline, thời gian giảm từ vài giây xuống dưới milisecond, giúp tiết kiệm tài nguyên và tăng tốc độ phát hành. Bài học là đối với các công cụ CLI cần hiệu năng cao, việc chuyển sang Rust có thể mang lại cải tiến đáng kể mà không phải hy sinh sự dễ sử dụng.

Bài viết này giúp bạn hiểu cách Rust có thể tăng tốc độ xử lý version bump lên đến 10,000 lần so với Python.

We Fixed N+1 With Eager Loading. Memory Usage Tripled.

Bài viết mô tả việc đội phát triển gặp vấn đề N+1 khi truy vấn danh sách đối tượng và quyết định áp dụng eager loading để giảm số lượng query. Sau khi bật eager loading, tổng số query giảm từ 801 xuống chỉ một câu SQL duy nhất. Tuy nhiên, câu query duy nhất này trả về lượng dữ liệu lớn hơn khả năng bộ nhớ của ứng dụng, khiến mức sử dụng RAM tăng lên gấp ba lần so với trước khi tối ưu. Kết quả là, mặc dù hiệu suất về số lượng query cải thiện, ứng dụng dễ gặp lỗi out‑of‑memory hoặc trễ do việc xử lý khối dữ liệu lớn. Bài học là khi tối ưu N+1 cần cân bằng giữa giảm query và kiểm soát lượng dữ liệu được tải, ví dụ qua việc chọn trường cụ thể, sử dụng pagination hoặc batch loading thay vì eager loading toàn bộ liên kết.

Bài viết này dạy bài học quý giá rằng tối ưu hóa database không lúc nào cũng tốt nếu không cân nhắc đến giới hạn tài nguyên hệ thống.

gRPC-Web Failed the Web · Buf

gRPC-Web được ra đời để cho phép các ứng dụng trình duyệt gọi dịch vụ gRPC mà không cần …

System Design Explained: APIs, Databases, Caching, CDNs, Load Balancing & Production Infra

Bài viết giải thích thiết kế hệ thống từ đơn giản (máy chủ đơn) đến phức tạp (hàng triệu người dùng), bao gồm API, cơ sở dữ liệu, caching, CDN, load balancing và hạ tầng sản xuất.

Bài viết giúp bạn hiểu rõ cách xây dựng cơ sở hạ tầng thực tế từ những nguyên tắc cơ bản nhất, từ đó tránh những sai lầm thường gặp khi mở rộng hệ thống khi còn mới mẻ.

Postgres's implicit transactions

PostgreSQL mặc định bọc mỗi câu lệnh trong một giao dịch riêng khi không có BEGIN…COMMIT rõ ràng. Tuy nhiên, khi gửi nhiều câu lệnh trong một chuỗi truy vấn đơn (thông qua PQexec hoặc các hàm plpgsql) hoặc sử dụng các tiện ích như COPY và CREATE INDEX CONCURRENTLY, máy chủ sẽ ẩn ý tạo một giao dịch duy nhất bao gồm tất cả các câu lệnh đó. Điều này có thể dẫn đến việc giữ khóa lâu hơn, tiêu thụ ID giao dịch tăng nhanh và làm khó khăn việc rollback một phần công việc khi lỗi xảy ra. Do đó, lập trình viên cần kiểm tra xem ứng dụng của mình có vô tình nhóm nhiều câu lệnh vào một giao dịch ngầm không và cân nhắc sử dụng BEGIN…COMMIT cụ thể khi cần kiểm soát granularity. Theo dõi pg_stat_activity để phát hiện các giao dịch mở dài hạn cũng là biện pháp phòng ngừa tốt.

Bài này giúp lập trình viên hiểu rõ cách Postgres tự động tạo giao dịch nhiều câu lệnh, tránh lỗi và tối ưu hiệu năng.

gRPC-Rust Roadmap

Đội ngũ gRPC-Rust vừa hoàn thành bản preview phía client và đang chuẩn bị cho các bước phát triển tiếp theo. Họ cần giải quyết các vấn đề về tính ổn định của API, tích hợp hoàn toàn với mô hình async/await của Rust và nâng cấp lớp mã hoá TLS dựa trên thư viện native-tls. Khi các tính năng này ổn định, nhà phát triển sẽ có thể xây dựng dịch vụ gRPC hoàn toàn bằng Rust mà không cần phụ thuộc vào bản triển khai C++, giảm latency và tối ưu hoá sử dụng bộ nhớ. Dự án cho thấy giá trị của việc phát hành preview sớm để thu thập phản hồi cộng đồng trước khi khóa API, giúp giảm nguy cơ thay đổi phá vỡ sau này. Lộ trình cũng nhấn mạnh tầm quan trọng của việc duy trì sự tương thích ngược với protobuf và cung cấp công cụ codegen tự động qua tonic-build.

Bài này cung cấp lộ trình phát triển tiếp theo của gRPC-Rust giúp lập trình viên nắm định hướng công nghệ và lên kế hoạch phát triển hệ thống hiệu quả.

Why use ORMs if LLMs write code?

ORMs vẫn cần thiết vì chúng cung cấp lớp trừu tượng an toàn, hiệu quả để tương tác với cơ sở dữ liệu, trong khi LLMs chỉ sinh code tiềm ẩn rủi ro lỗi, kém tối ưu và khó bảo trì. ORMs giúp chuẩn hóa truy vấn, tránh SQL injection và tối ưu hóa hiệu suất thông qua caching, điều mà code do LLM sinh ra khó đảm bảo.

Lập trình viên nên đọc bài này để hiểu cách ORM và SQL vẫn giữ vai trò quan trọng trong quản lý dữ liệu cơ bản, giúp tránh rủi ro lỗi và tối ưu hóa hiệu suất khi ứng dụng lớn cần kiểm soát trực tiếp dữ liệu.