#compression

Nibnib: Image compression with extreme decompression speed

Image compression at 4bpp with extreme decompression speed - raphlinus/nibnib

Arcana: One Pure-Java Library for (Almost) Every Archive Format

Arcana là thư viện Java thuần túy hỗ trợ giải nén hơn 40 định dạng archive bao gồm ZIP, 7z, RAR 5, zstd, MSI, ISO và DMG mà không cần native code hay dependency. Thư viện này được phát triển hoàn toàn bằng Java 8, đảm bảo khả năng tương thích rộng rãi. Với việc đóng gói trong một file JAR duy disponible trên Maven Central, Arcana giúp giảm thiểu rủi ro dependency conflict và kích thước ứng dụng. Đây là giải pháp lý tưởng cho các developer cần hỗ trợ đa dạng định dạng nén mà không muốn phụ thuộc vào native code hay thêm nhiều thư viện ngoài vào dự án.

Arcana là giải pháp Java thuần túy duy nhất hỗ trợ nhiều định dạng nén nhất mà không cần code gốc hay phụ thuộc ngoài.

LZ4 1.11 Introduces Multi-Threaded Compression For liblz4, Other Performance Gains

LZ4 1.11 brings multi-threaded compression support to the liblz4 library itself, not just the command-line tool. A new configurable field lets applications control the number of worker threads when using liblz4, improving performance on multi-core CPUs. The project's own testing on an AMD EPYC server showed promising results. The lz4 command line tool also gains a '--memory' option to cap multi-threaded compression within a memory budget, alongside other general performance improvements over LZ4 1.10.

100 KB for a photo of a document: keeping the small print readable

100 KB for a photo of a document: keeping the small print readable Upload forms often want a scan or photo of a document “under 100 KB”. A phone photo of a page is often a few megabytes, and the …

All of Hacker News in 5.3 GB, searchable on a laptop

All of Hacker News in 5.3 GB, searchable on a laptop This article describes hnz, a Rust library with a Python API that stores every Hacker News item in a single 5.34 GB file and searches it with …

PG Phriday: Burnt TOAST

Shaun Thomas on how PostgreSQL TOAST stores large columns, when it speeds up scans and updates, and where splitting a table or switching to lz4 helps - with benchmarks.

JPEG-XL Is Back On The Menu

Chrome is bringing back full support for JPEG-XL after years of resistance. Chromium implemented a decoder in 2021, but it was slated for removal in late 2022 and was gone by Chrome 110. Chrome Area Tech Lead Rick Byers noted in November 2025 that the landscape had shifted, citing JPEG-XL support in things like PDF and Safari. Chrome 145 included JPEG-XL with a new Rust-based decoder, jxl-rs, chosen for security reasons under Google's Rule of 2, though it was not activated by default. As of Chrome 155, JPEG-XL will be fully supported in the browser, offering 30-50% better compression than JPEG.

Just updated - Optimize Images v2.2.0

Optimize Images phiên bản 2.2.0 vừa được phát hành, mặc định làm giảm kích thước file JPEG thêm nữa và bổ sung kiểm tra chất lượng dựa trên SSIM. Công cụ này hiện giữ lại các profile màu nhúng như Display P3 của ảnh iPhone, đồng thời yêu cầu Pillow 13.0.0 để vá các lỗ hổng bảo mật quan trọng. Phiên bản mới này cải thiện độ ổn định cho chế độ batch và watch mode, giúp quy trình xử lý hình ảnh trơn tru hơn.

Bản cập nhật mới nhất của Optimize Images giúp giảm kích thước file JPEG hơn, kiểm tra chất lượng SSIM, giữ nguyên màu sắc và cải thiện độ tin cậy khi xử lý hàng loạt.

tugz: a new deflate library with three applications

tugz là thư viện deflate mới được viết hoàn toàn từ đầu bằng C trong một tuần, thay thế các công cụ unzip, gzip, gunzip, zcat của busybox-w32 với hiệu năng tốt hơn zlib nhưng hiện vẫn thua libdeflate, tạo ra output nhỏ hơn và chạy nhanh hơn BusyBox cùng các công cụ gzip/Info-ZIP trên Linux. Thư viện này hỗ trợ Windows tốt hơn, xử lý Unicode tốt hơn, có hỗ trợ giải nén Deflate64 nhưng cố tình bỏ tính năng chuyển đổi line-ending legacy và mã hóa ZIP. tugz có CRT-free với hỗ trợ Windows hàng đầu và cung cấp giao diện callback allocator trong tugz.h cho dự án tương lai.

Lập trình viên nên đọc bài này để khám phá thư viện tugz mới với hiệu năng vượt trội và hỗ trợ Windows tốt hơn cho các ứng dụng nén dữ liệu.

Rewinding the exponential: How we keep hardware usage down

Our strategies to optimize our data pipeline throughput without compromising data quality.

Compression and concatenation on the web

Compression and concatenation on the web

I turned on ZFS compression across my storage pool, and it gave back more space than I expected

ZFS compression is the free storage upgrade my NAS needed, but only for some files.

I Tried Storing Only the Changes. Keeping the Original Erased the Advantage.

Tôi đã thử nghiệm lưu trữ chỉ những thay đổi (delta storage) so với bản gốc, nhưng phương pháp này lại mất đi lợi ích khi tính toán tất cả yêu cầu cần thiết. Việc lưu chỉ các thay đổi ban trông có vẻ tiết kiệm không gian lưu trữ, nhưng thực tế lại yêu cầu nhiều xử lý hơn để tái tạo dữ liệu gốc. Khi đo hiệu suất thực tế với một tập dữ liệu 1GB, phương pháp delta storage mất đến 45% thời gian xử lý so với cách lưu trữ đầy đủ (full storage). Bài học rút ra là đôi khi một cách tiếp cận đơn giản hơn, dù chiếm nhiều không gian lưu trữ hơn, lại hiệu quả hơn khi xét đến tổng thể hệ thống.

Bài này giúp lập trình viên hiểu khi nào cách lưu trữ thay đổi đơn giản lại hiệu quả hơn phương pháp phức tạp tưởng chừng tối ưu.

Gzip 1.15 Released With Many Bug Fixes For Issues Present Since Its Inception

Gzip 1.15 has been released, succeeding Gzip 1.14 from April 2025, with over one hundred commits primarily fixing long-standing bugs. Fixes include a file-deletion race condition, uninitialized memory usage, a buffer overflow when decompressing LZH files after Z files, and corruption issues in LZH decompression that have existed since gzip's inception. The release also adds proper locale support instead of always assuming the C locale, and drops support for FreeBSD 4.11, HP-UX 11.00, Minix 3.1.8, and Windows 8.1 via MinGW without UCRT.