Percona benchmarks DBTrail, an open-source tool (Apache 2.0) built by a former Percona engineer that replicates MySQL data into Parquet files via mydumper and binlog streaming, then lets you query it with DuckDB without installing anything inside MySQL. Testing with sysbench-tpcc (200 warehouses, 300 TPS load) showed negligible impact on the source server except a brief 119ms latency spike during the initial global-lock-protected table copy. Five analytical reports ran in 5.7s total on DuckDB versus 6m35s on MySQL directly. A TPC-H scale factor 10 test showed 22 queries completing in 10.3s on DuckDB versus 5m24s on MySQL, with MySQL only winning one query due to an available index. Part 2 will cover refresh frequency behavior.
Source: https://www.percona.com/blog/dbtrail-analytical-reports-on-your-mysql-data-without-running-them-on-mysql-part-1. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Đang tải bình luận…
DuckDB phiên bản 1.5.6 vừa được ra mắt với các bản vá lỗi và cải thiện hiệu năng. Bản cập nhật này tập trung vào tối ưu hóa truy vấn SQL và cải thiện hiệu suất khi xử lý lượng lớn dữ liệu. Phiên bản mới này sửa lỗi liên quan đến window functions và cải thiện hiệu suất khi sử dụng JOIN operation. Các nhà phát triển làm việc với analytical workloads sẽ thấy hiệu năng cải thiện đáng kể, đặc biệt khi xử lý data partitioning. Nếu bạn đang sử dụng DuckDB cho xử lý dữ liệu offline hoặc embedded analytics, bản cập nhật này đáng để xem xét nâng cấp.
Phiên bản DuckDB 1.5.6 mang lại những cải tiến hiệu năng và sửa lỗi quan trọng mà lập trình viên cần biết để tối ưu hóa hệ thống cơ sở dữ liệu của họ.
DuckDB 2.0 mang lại hiệu suất vượt trội với recursive CTEs nhanh hơn tới 90x so với phiên bản 1.5.5, kiểu dữ VARIANT xử lý nhanh hơn 6x so với JSON text, và async I/O trên S3 tăng 2.4x. Sự cải thiện đến từ tối ưu hóa engine xử lý, đặc biệt là việc bổ sung cache-aware execution plan và cải thiện cách quản lý memory cho variant data. Điều này cho thấy việc hiểu cách DuckDB lưu trữ và xử lý dữ liệu (đặc biệt với variant và variant types) sẽ giúp tối ưu hóa truy vấn tốt hơn. Bài viết cung cấp những insight thực tế về cách thiết kế schema dữ liệu để tận dụng tối đa hiệu năng mới mà không cần thay đổi code ứng dụng.
DuckDB 2.0 mang đến tốc độ vượt trội với cải tiến đáng kể trong CTE đệ quy, xử lý VARIANT và I/O bất đồng bộ, giúp lập trình viên tối ưu hiệu suất truy vấn dữ liệu.
Trên instance GCP c4d-standard-4, tiến trình MySQL tiêu tốn 10.4 GB RAM dù innodb_buffer_pool_size chỉ được thiết lập là 7168 MB. Khoảng trống này được truy qua 4 lớp: dự kiến overhead từ InnoDB/Performance Schema/thread-buffer, khoảng ~9% mmap chunk padding trên buffer pool, sự tích tụ dirty pages của jemalloc trên DR replica không hoạt động, và nguyên nhân gốc - MALLOC_CONF không được thiết lập khiến decay của background_thread bị vô hiệu hóa. Các sửa chữa gồm giảm buffer pool thành bội số sạch (6144 MB), cắt giảm max_connections từ 3000 xuống 500, bật background_thread của jemalloc với decay 5 giây, và thêm swap để phòng OOM, giúp giảm RSS xuống còn ~7.9 GB. Bài viết cung cấp kiến thức sâu về quản lý memory của MySQL khi sử dụng jemalloc, cách tối ưu buffer pool size và thiết lập MALLOC_CONF phù hợp.
Lập trình viên cần đọc bài này để hiểu cách điều khiển và tối ưu hóa bộ nhớ InnoDB trên MySQL khi các tham số cơ bản như innodb_buffer_pool_size không đủ để giải quyết cảnh báo nhớ, khi hệ thống vẫn tiêu thụ nhiều bộ nhớ hơn dự kiến do các yếu tố như cấu hình bộ nhớ phân vùng, quá trình làm sạch nhớ của jemalloc, hoặc tình trạng replica hoạt động không hiệu quả.
Dalibo đã phát hành bản ổn định 1.0 của PostgreSQL Migrator, công cụ mã nguồn mở miễn phí cho phép di chuyển database từ Oracle và MySQL/MariaDB sang PostgreSQL. Được xây dựng hoàn toàn bằng Go, công cụ này cung cấp khả năng kiểm tra catalog ngoại tuyến, đánh giá độ phức tạp, giao diện web tương tác, chuyển đổi schema và dữ liệu, biên dịch SQL/PL-SQL qua công cụ transqlate, và sao chép dữ liệu tốc độ cao. PostgreSQL Migrator hỗ trợ nguồn từ Oracle 11g đến 26ai và MySQL 8.4+/MariaDB 10+, nhắm đến PostgreSQL 16-19, với bản 1.0 hiện chỉ hỗ trợ chuyển đổi roles, schemas, sequences, tables, virtual columns, constraints và indexes. Dự án đạt độ ổn định sau 1 năm beta và release candidates, với cam kết tương thích về cấu hình, CLI và dự án cho tất cả các bản 1.x.
PostgreSQL Migrator 1.0 cung cấp giải pháp toàn diện để chuyển đổi cơ sở dữ liệu từ Oracle và MySQL sang PostgreSQL với nhiều tính năng mạnh mẽ.
Người thực hành MySQL khuyên không nên dùng các kiểu dữ liệu phức tạp như TIMESTAMP, DATE/TIME hay ENUM, thay vào đó nên dùng các kiểu số đơn giản hơn. Việc sử dụng ENUM gặp vấn đề khi xóa giá trị buộc phải rebuild toàn bộ bảng, cùng lỗi MySQL khiến MIN()/MAX() hoạt động không nhất quán trên ENUM.
Lập trình viên nên đọc bài này để tránh rủi ro về hiệu suất, tính bảo trì và tính nhất quán khi sử dụng các kiểu dữ liệu phức tạp như ENUM và TIMESTAMP trong MySQL, mà thay vào đó có thể áp dụng các giải pháp đơn giản và đáng tin cậy hơn.
SQLite, Postgres, DuckDB và 20 hệ thống CSDL khác đều thực hiện chức năng write, store và read data. Việc lựa chọn phụ thuộc vào loại truy vấn hàng ngày của bạn - DuckDB xử lý analytical queries nhanh hơn 10-100 lần so với SQLite cho dữ liệu lớn. Postgres tỏ ưu thế với transactional workload nhờ tính ACID và hỗ trợ concurrency tốt hơn. SQLite phù hợp ứng dụng embedded với yêu cầu nhẹ nhàng, trong khi các hệ thống NoSQL như MongoDB excel với dữ liệu không cấu trúc. Bài viết giúp hiểu rõ đặc điểm từng công nghệ để đưa ra lựa chọn tối ưu cho use case cụ thể.
Bài viết giúp lập trình viên hiểu rõ cách chọn phù hợp giữa nhiều hệ thống cơ sở dữ liệu khác nhau dựa trên nhu cầu cụ thể.
DuckDB phiên bản 2.0 dự kiến ra mắt vào mùa thu năm nay với nhiều tính năng mới nổi bật như hỗ trợ chạy dưới dạng server, triggers, kiểu dữ liệu VARIANT, I/O bất đồng bộ, SQL parser mới, định dạng lưu trữ cải tiến cùng nhiều cải tiến khác.
Lập trình viên cần đọc bài này để khám phá cách DuckDB v2.0 nâng cấp hiệu suất và tính linh hoạt cho các ứng dụng xử lý dữ liệu, từ việc chạy như một server đến hỗ trợ các tính năng mới như biến đổi dữ liệu trong SQL và lưu trữ hiệu quả hơn.
Data Outpost là hội nghị AI và dữ liệu diễn ra tại San Francisco vào ngày 5 tháng 11 năm 2026 với 13 phiên thảo luận từ các đội ngũ tại Canva, Stripe, DoorDash, Posit, dbt và nhiều công ty khác. Hội nghị tập trung vào các chủ đề tiên tiến như agents tự động viết mã, context layers, SQL harnesses và AI cho dữ liệu được quản lý chặt chẽ. Mỗi phiên thảo luận sẽ cung cấp kiến thức thực tiễn về cách các công nghệ AI được áp dụng trong giải quyết vấn đề dữ liệu thực tế. Người tham dự sẽ rời đi với những hiểu biết cụ thể về triển khai AI và quản lý dữ liệu hiệu quả trong các hệ thống phức tạp.
Bài cung cấp cái nhìn sâu về ứng dụng thực tế AI trong xử lý dữ liệu từ những công ty công nghệ hàng đầu.
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
The ecosystem home: product overviews, blog and full pricing.
ExploreLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmap1,000+ DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeA 22 MB AI IDE for Vietnamese devs.
Download freeOrganizational memory for AI agents.
ExploreAI that staffs your Fanpage and qualifies leads for you.
Try it