Percona benchmarks DBTrail, an open-source tool (Apache 2.0) built by a former Percona engineer that replicates MySQL data into Parquet files via mydumper and binlog streaming, then lets you query it with DuckDB without installing anything inside MySQL. Testing with sysbench-tpcc (200 warehouses, 300 TPS load) showed negligible impact on the source server except a brief 119ms latency spike during the initial global-lock-protected table copy. Five analytical reports ran in 5.7s total on DuckDB versus 6m35s on MySQL directly. A TPC-H scale factor 10 test showed 22 queries completing in 10.3s on DuckDB versus 5m24s on MySQL, with MySQL only winning one query due to an available index. Part 2 will cover refresh frequency behavior.
Nguồn: https://www.percona.com/blog/dbtrail-analytical-reports-on-your-mysql-data-without-running-them-on-mysql-part-1. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đang tải bình luận…
DuckDB phiên bản 1.5.6 vừa được ra mắt với các bản vá lỗi và cải thiện hiệu năng. Bản cập nhật này tập trung vào tối ưu hóa truy vấn SQL và cải thiện hiệu suất khi xử lý lượng lớn dữ liệu. Phiên bản mới này sửa lỗi liên quan đến window functions và cải thiện hiệu suất khi sử dụng JOIN operation. Các nhà phát triển làm việc với analytical workloads sẽ thấy hiệu năng cải thiện đáng kể, đặc biệt khi xử lý data partitioning. Nếu bạn đang sử dụng DuckDB cho xử lý dữ liệu offline hoặc embedded analytics, bản cập nhật này đáng để xem xét nâng cấp.
Phiên bản DuckDB 1.5.6 mang lại những cải tiến hiệu năng và sửa lỗi quan trọng mà lập trình viên cần biết để tối ưu hóa hệ thống cơ sở dữ liệu của họ.
DuckDB 2.0 mang lại hiệu suất vượt trội với recursive CTEs nhanh hơn tới 90x so với phiên bản 1.5.5, kiểu dữ VARIANT xử lý nhanh hơn 6x so với JSON text, và async I/O trên S3 tăng 2.4x. Sự cải thiện đến từ tối ưu hóa engine xử lý, đặc biệt là việc bổ sung cache-aware execution plan và cải thiện cách quản lý memory cho variant data. Điều này cho thấy việc hiểu cách DuckDB lưu trữ và xử lý dữ liệu (đặc biệt với variant và variant types) sẽ giúp tối ưu hóa truy vấn tốt hơn. Bài viết cung cấp những insight thực tế về cách thiết kế schema dữ liệu để tận dụng tối đa hiệu năng mới mà không cần thay đổi code ứng dụng.
DuckDB 2.0 mang đến tốc độ vượt trội với cải tiến đáng kể trong CTE đệ quy, xử lý VARIANT và I/O bất đồng bộ, giúp lập trình viên tối ưu hiệu suất truy vấn dữ liệu.
Trên instance GCP c4d-standard-4, tiến trình MySQL tiêu tốn 10.4 GB RAM dù innodb_buffer_pool_size chỉ được thiết lập là 7168 MB. Khoảng trống này được truy qua 4 lớp: dự kiến overhead từ InnoDB/Performance Schema/thread-buffer, khoảng ~9% mmap chunk padding trên buffer pool, sự tích tụ dirty pages của jemalloc trên DR replica không hoạt động, và nguyên nhân gốc - MALLOC_CONF không được thiết lập khiến decay của background_thread bị vô hiệu hóa. Các sửa chữa gồm giảm buffer pool thành bội số sạch (6144 MB), cắt giảm max_connections từ 3000 xuống 500, bật background_thread của jemalloc với decay 5 giây, và thêm swap để phòng OOM, giúp giảm RSS xuống còn ~7.9 GB. Bài viết cung cấp kiến thức sâu về quản lý memory của MySQL khi sử dụng jemalloc, cách tối ưu buffer pool size và thiết lập MALLOC_CONF phù hợp.
Lập trình viên cần đọc bài này để hiểu cách điều khiển và tối ưu hóa bộ nhớ InnoDB trên MySQL khi các tham số cơ bản như innodb_buffer_pool_size không đủ để giải quyết cảnh báo nhớ, khi hệ thống vẫn tiêu thụ nhiều bộ nhớ hơn dự kiến do các yếu tố như cấu hình bộ nhớ phân vùng, quá trình làm sạch nhớ của jemalloc, hoặc tình trạng replica hoạt động không hiệu quả.
Dalibo đã phát hành bản ổn định 1.0 của PostgreSQL Migrator, công cụ mã nguồn mở miễn phí cho phép di chuyển database từ Oracle và MySQL/MariaDB sang PostgreSQL. Được xây dựng hoàn toàn bằng Go, công cụ này cung cấp khả năng kiểm tra catalog ngoại tuyến, đánh giá độ phức tạp, giao diện web tương tác, chuyển đổi schema và dữ liệu, biên dịch SQL/PL-SQL qua công cụ transqlate, và sao chép dữ liệu tốc độ cao. PostgreSQL Migrator hỗ trợ nguồn từ Oracle 11g đến 26ai và MySQL 8.4+/MariaDB 10+, nhắm đến PostgreSQL 16-19, với bản 1.0 hiện chỉ hỗ trợ chuyển đổi roles, schemas, sequences, tables, virtual columns, constraints và indexes. Dự án đạt độ ổn định sau 1 năm beta và release candidates, với cam kết tương thích về cấu hình, CLI và dự án cho tất cả các bản 1.x.
PostgreSQL Migrator 1.0 cung cấp giải pháp toàn diện để chuyển đổi cơ sở dữ liệu từ Oracle và MySQL sang PostgreSQL với nhiều tính năng mạnh mẽ.
Người thực hành MySQL khuyên không nên dùng các kiểu dữ liệu phức tạp như TIMESTAMP, DATE/TIME hay ENUM, thay vào đó nên dùng các kiểu số đơn giản hơn. Việc sử dụng ENUM gặp vấn đề khi xóa giá trị buộc phải rebuild toàn bộ bảng, cùng lỗi MySQL khiến MIN()/MAX() hoạt động không nhất quán trên ENUM.
Lập trình viên nên đọc bài này để tránh rủi ro về hiệu suất, tính bảo trì và tính nhất quán khi sử dụng các kiểu dữ liệu phức tạp như ENUM và TIMESTAMP trong MySQL, mà thay vào đó có thể áp dụng các giải pháp đơn giản và đáng tin cậy hơn.
SQLite, Postgres, DuckDB và 20 hệ thống CSDL khác đều thực hiện chức năng write, store và read data. Việc lựa chọn phụ thuộc vào loại truy vấn hàng ngày của bạn - DuckDB xử lý analytical queries nhanh hơn 10-100 lần so với SQLite cho dữ liệu lớn. Postgres tỏ ưu thế với transactional workload nhờ tính ACID và hỗ trợ concurrency tốt hơn. SQLite phù hợp ứng dụng embedded với yêu cầu nhẹ nhàng, trong khi các hệ thống NoSQL như MongoDB excel với dữ liệu không cấu trúc. Bài viết giúp hiểu rõ đặc điểm từng công nghệ để đưa ra lựa chọn tối ưu cho use case cụ thể.
Bài viết giúp lập trình viên hiểu rõ cách chọn phù hợp giữa nhiều hệ thống cơ sở dữ liệu khác nhau dựa trên nhu cầu cụ thể.
DuckDB phiên bản 2.0 dự kiến ra mắt vào mùa thu năm nay với nhiều tính năng mới nổi bật như hỗ trợ chạy dưới dạng server, triggers, kiểu dữ liệu VARIANT, I/O bất đồng bộ, SQL parser mới, định dạng lưu trữ cải tiến cùng nhiều cải tiến khác.
Lập trình viên cần đọc bài này để khám phá cách DuckDB v2.0 nâng cấp hiệu suất và tính linh hoạt cho các ứng dụng xử lý dữ liệu, từ việc chạy như một server đến hỗ trợ các tính năng mới như biến đổi dữ liệu trong SQL và lưu trữ hiệu quả hơn.
Data Outpost là hội nghị AI và dữ liệu diễn ra tại San Francisco vào ngày 5 tháng 11 năm 2026 với 13 phiên thảo luận từ các đội ngũ tại Canva, Stripe, DoorDash, Posit, dbt và nhiều công ty khác. Hội nghị tập trung vào các chủ đề tiên tiến như agents tự động viết mã, context layers, SQL harnesses và AI cho dữ liệu được quản lý chặt chẽ. Mỗi phiên thảo luận sẽ cung cấp kiến thức thực tiễn về cách các công nghệ AI được áp dụng trong giải quyết vấn đề dữ liệu thực tế. Người tham dự sẽ rời đi với những hiểu biết cụ thể về triển khai AI và quản lý dữ liệu hiệu quả trong các hệ thống phức tạp.
Bài cung cấp cái nhìn sâu về ứng dụng thực tế AI trong xử lý dữ liệu từ những công ty công nghệ hàng đầu.
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
Cổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trình1.000+ bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíAI IDE 22 MB cho dev Việt.
Tải miễn phíBộ nhớ tổ chức cho AI agent.
Khám pháAI trực Fanpage, tự sàng lọc lead.
Dùng thử