#compression

Building Groovie, an Advanced Web-Based Drum Machine / Beat Sequencer

Groovie là drum machine/beat sequencer web-based mã nguồn mở, chạy hoàn toàn tĩnh bằng JavaScript, hỗ trợ 150+ samples, 32 patterns, chế độ polyrhythm, hiệu ứng trên từng sample (filter, delay, volume, panning) và giao diện responsive. Dự án giải quyết thách thức lưu trữ toàn bộ project trong URL dưới 2000 ký tự bằng các kỹ thuật nén như prefix codes, run-length encoding, gating bits và phát hiện lặp motif, đồng thời hỗ trợ xuất MIDI clock qua Web MIDI API (trình duyệt Chrome/Chromium).

Nếu bạn đang tìm hiểu về cách tối ưu hóa lưu trữ và truyền dữ liệu cho ứng dụng web, đặc biệt là khi phải xử lý các cấu hình phức tạp như sequencer với giới hạn URL dài, bài viết này sẽ cung cấp những kỹ thuật hiệu quả như mã hóa prefix biến dài, mã hóa chuỗi run-length và giải pháp gating bit để giải quyết vấn đề này một cách sáng tạo.

ryg_rans is not a library

Tác giả viết ryg_rans vào năm 2014 như một triển khai đồ chơi của thuật toán, không phải thư viện. Dự án này chỉ khoảng 20 dòng code cốt lõi, không hỗ trợ sử dụng như thư viện.

Lập trình viên nên đọc bài này để hiểu rõ cách phân biệt giữa các dự án nhỏ gọn như ryg_rans—được thiết kế cho mục đích nghiên cứu hoặc giải trí chứ không phải là một thư viện thực dụng.

zlib-rs 0.6.7 Released With LoongArch LSX Optimizations, Use-After-Free Fix

Phiên bản zlib-rs 0.6.7 vừa ra mắt đã vá lỗ hổng use-after-free trong hàm Deflate::compress_uninit, ngay cả khi unsafe Rust bị vô hiệu hóa. Ngoài ra, bản cập nhật còn bổ sung tối ưu hóa cho LoongArch64 LSX, giúp tăng tốc độ nén khoảng 4% nhờ triển khai compare256, và cải thiện tới 10% tốc độ giải nén nhờ tải/ lưu trữ dữ liệu rộng hơn.

Lập trình viên nên đọc bài này để hiểu cách zlib-rs xử lý lỗ hổng use-after-free trong mã nguồn, đặc biệt khi sử dụng Rust an toàn, và tìm hiểu về tối ưu hóa LoongArch LSX, giúp cải thiện hiệu suất cho các ứng dụng chạy trên CPU Loongson.

Postgres 19 Compression: from pglz to LZ4

Postgres 19 chuyển mặc định từ thuật toán nén pglz sang LZ4, bài viết phân tích quá trình quyết định thuật toán nén, chiến lược lưu trữ và giới hạn kích thước index ảnh hưởng đến hiệu suất thực tế.

Lập trình viên nên đọc bài này để hiểu cách PostgreSQL 19 tối ưu hóa hiệu suất lưu trữ và truy vấn bằng cách chuyển sang LZ4 (nhanh hơn và hiệu quả hơn pglz) và ảnh hưởng của nó đến thiết kế cơ sở dữ liệu, đặc biệt khi xây dựng ứng dụng cần quản lý dữ liệu lớn.

GitHub - welcome-to-the-sunny-side/misa77: Ridiculously fast decompression at good ratios. misa77 is 1.5-3x faster than LZ4 for decompression on x86 and ARM (with better ratios!).

Ridiculously fast decompression at good ratios. misa77 is 1.5-3x faster than LZ4 for decompression on x86 and ARM (with better ratios!). - welcome-to-the-sunny-side/misa77

Replacing the HDB: ClickHouse for historical ticker data

A hands-on walkthrough of using ClickHouse to store and query historical cryptocurrency tick data from Binance's public archive. Covers loading 16.2 billion rows of trades and quotes for five futures pairs, achieving a 19x compression ratio (191 GiB raw CSV down to ~10 GiB) using columnar storage and codecs like DoubleDelta and LowCardinality. Demonstrates practical financial queries in standard SQL: VWAP calculation, OHLC candle generation, and ASOF JOINs to match trades with contemporaneous quotes for slippage analysis. Shows how ClickHouse's primary index on (symbol, ts) allows queries to skip 99.999% of data even on a 16-billion-row dataset, keeping latency consistent. Storage cost on ClickHouse Cloud for 10 months of data works out to under $2/month.

Zlib-rs 0.6.6 Released With Updated Zlib API Support

Zlib-rs 0.6.6 has been released by the Trifecta Tech Foundation, adding support for the upstream Zlib 1.3.2 API. The update exposes the deflateUsed symbol and additional symbols with the _z suffix that use usize for lengths. This is a minor release for the Rust-based, memory-safe zlib implementation.

KSMBD Adds SMB2 Compression Support In Linux 7.2

Linux 7.2 brings SMB2 compression support to KSMBD, the in-kernel SMB3 file server. The implementation follows Microsoft's SMB 3.1.1 specification, which introduced native in-transit data compression using algorithms like LZ4, XPRESS/LZ77, and Pattern_V1. KSMBD can now negotiate LZ77 and Pattern_V1 compression and shares the LZ77 encoder with CIFS. The merge covers both at-rest and over-the-wire data compression, alongside several bug fixes.