#materialize

A Modular Cluster Controller for Burst Autoscaling

How we made clusters scale up on demand and resize without downtime, and rebuilt our control plane along the way.

Parallelizing MySQL Snapshots

Materialize đã song song hóa snapshot bảng MySQL có 2.2 tỷ dòng và 2.45TB thông qua partitioning theo khóa chính (primary key partitioning) và kỹ thuật prefix probing. Nguyên nhân chính là do MySQL sử dụng collation binary cho các câu truy vấn, khiến việc đọc dữ liệu tuần tự rất chậm. Hệ quả là thời gian snapshot giảm từ 30 giờ xuống chỉ còn 3 giờ, cải thiện hiệu suất lên 10 lần. Bài viết tiết lộ các lỗi thực tế liên quan đến collation trong MySQL và cách xử lý chúng, điều rất hữu ích cho lập trình viên làm việc với hệ thống phân tán.

Bài viết này tiết lộ kỹ thuật song song hóa snapshot MySQL giúp giảm thời gian xử lý từ 30 giờ xuống còn 3 giờ cho bảng lớn.

Materialize, Out-of-Core: Replacing Swap with a Buffer Pool

Materialize is moving beyond kernel paging to an application-managed buffer pool, keeping hot data in memory and serving sequential and batched work from disk.