The International Ice Patrol

Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day

Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.

Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.

How to Create System Design Diagrams using Python

Việc tạo hệ thống diagram cho kiến trúc hệ thống là phần quan trọng trong tài liệu kỹ thuật. Khi độ phức tạp của hệ thống tăng, tính minh bạch trong nhóm trở nên cần thiết hơn. Bài viết hướng dẫn sử dụng Python để tự động tạo diagram, giúp tiết kiệm thời gian và đảm bảo tính nhất quán. Công cụ như Graphviz và Mermaid.js được đề xuất để kết hợp với Python cho việc tạo diagram chất lượng cao. Lập trình viên có thể tự động hóa quy trình này, giảm thiểu sai sót khi làm việc với hệ thống phức tạp.

Bài hướng dẫn này giúp lập trình viên tự động tạo sơ đồ thiết kế hệ thống bằng Python để tăng hiệu quả và độ chính xác trong tài liệu kỹ thuật.

I Built a Distributed Task Queue from Scratch with Go and PostgreSQL

Tác giả đã xây dựng Dhara, một distributed task queue bằng Go sử dụng PostgreSQL làm queue …

Supabase is acquiring Turso

Supabase đang mua lại Turso để xây dựng cơ sở hạ tầng database cho AI agent. …

Announcing OpenBao v2.7!

OpenBao v2.7 ra mắt với tính năng quan trọng là khả năng mở rộng ngang cho PostgreSQL, giúp tăng hiệu quả xử lý. Phiên bản này tích hợp hỗ trợ External HSM và KMS-Backed Keys, tăng cường bảo mật khóa dữ liệu. Đặc biệt, OpenBao v2.7 triển khai Post-Quantum Cryptography để chuẩn bị cho các mối đe dọa từ máy lượng tử trong tương lai. Những cải tiến này giúp OpenBao trở thành giải pháp quản lý bí mật mạnh mẽ hơn, phù hợp với cơ sở hạ tầng phức tạp và nhu cầu bảo mật cao.

OpenBao v2.7 mang đến khả năng mở rộng ngang cơ sở dữ liệu PostgreSQL, hỗ trợ HSM và KMS ngoài, cùng mật mã học lượng tử hậu thập niên cho hệ thống bảo mật mạnh mẽ hơn.

Announcing DuckDB 1.5.6

DuckDB phiên bản 1.5.6 vừa được ra mắt với các bản vá lỗi và cải thiện hiệu năng. Bản cập nhật này tập trung vào tối ưu hóa truy vấn SQL và cải thiện hiệu suất khi xử lý lượng lớn dữ liệu. Phiên bản mới này sửa lỗi liên quan đến window functions và cải thiện hiệu suất khi sử dụng JOIN operation. Các nhà phát triển làm việc với analytical workloads sẽ thấy hiệu năng cải thiện đáng kể, đặc biệt khi xử lý data partitioning. Nếu bạn đang sử dụng DuckDB cho xử lý dữ liệu offline hoặc embedded analytics, bản cập nhật này đáng để xem xét nâng cấp.

Phiên bản DuckDB 1.5.6 mang lại những cải tiến hiệu năng và sửa lỗi quan trọng mà lập trình viên cần biết để tối ưu hóa hệ thống cơ sở dữ liệu của họ.

Memory safety for Postgres extensions in C/C++

ClickHouse phải giải quyết vấn đề memory safety khi viết extension cho Postgres bằng C/C++, do hai ngôn ngữ này không có bảo vệ tự động. Họ xử lý bằng cách thiết lập ranh giới rõ ràng giữa C và C++ code, cùng với việc sử dụng isolated helper processes. Giải pháp này giúp ngăn chặn buffer overflow và memory leak, đặc biệt quan trọng khi xử lý dữ liệu lớn. Lập trình viên nên đọc bài để hiểu cách ClickHouse quản lý memory giữa các ngôn ngữ khác nhau và áp dụng pattern này vào các dự án của mình.

Bài viết này giải quyết các thách thức về an toàn bộ nhớ khi kết hợp C và C++ cho Postgres extensions, từ ranh giới ngôn ngữ sạch sẽ đến các tiến trình trợ lý được cách ly.

Saved the Order, Lost the Event: Why You Need the Outbox Pattern

Trong hệ thống phân tán, vấn đề "save-then-publish" có thể gây mất sự kiện (event) mà không ghi log lỗi nào. Nguyên nhân kỹ thuật là transaction database và message broker hoạt động độc lập, dẫn đến tình trạng message bị drop dù insert thành công. Hệ quả là các subscriber không nhận được event cần thiết, làm hỏng tính toàn vẹn dữ liệu. Pattern Outbox + Inbox sử dụng cùng một transaction để lưu cả event và dữ liệu vào database, đảm bảo không mất sót message, thực hiện hiệu quả với Postgres và Node.js.

Bài này giải thích cách tránh mất sự kiện khi lưu trữ dữ liệu bằng pattern Outbox trong Postgres và Node.js.