Scaling Citus without limits: announcing Query Routers in StackGres

How iSAM Funds built an options research platform for a 10,000x data problem with ClickHouse Cloud

iSAM Funds đối mặt với bài toán xử lý dữ liệu options với quy mô 10,000 lần lớn hơn thông thường. Họ sử dụng ClickHouse Cloud để giải quyết vấn đề này, đạt mức nén dữ liệu 35-50x và tốc độ nhập dữ liệu single-core nhanh hơn 100 lần. Nhờ giải pháp này, họ đã đơn giản hóa đáng kể các pipeline dữ liệu phức tạp. Bài viết cho thấy sức mạnh của ClickHouse trong xử lý dữ liệu tài chính lớn với hiệu suất vượt trội.

Bài viết này giúp lập trình viên hiểu cách ClickHouse Cloud giải quyết bài toán xử lý lượng dữ liệu lớn với hiệu suất vượt trội.

Impactful scheduling for GPU clusters

GPU cluster gặp vấn đề hiệu suất do scheduling kém dẫn đến lãng phí tài nguyên. Nghiên cứu chỉ ra rằng các scheduler truyền thống như Kubernetes/CPU-based waste tới 44% GPU time do thiếu hiểu biết workload GPU. Phương pháp mới sử dụng GPU metrics như GPU utilization, memory bandwidth để tối ưu placement jobs. Giải pháp này giúp giảm lãng phí tài nguyên và tăng throughput đáng kể. Lập trình viên nên xem xét tiếp cận này khi xây dựng infrastructure cho GPU-intensive workloads.

Bài viết này cung cấp kiến thức tối ưu hóa lập lịch GPU giúp tăng hiệu suất đáng kể cho hệ thống cluster.

I Built a Distributed Task Queue from Scratch with Go and PostgreSQL

Tác giả đã xây dựng Dhara, một distributed task queue bằng Go sử dụng PostgreSQL làm queue …

Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day

Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.

Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.

All Your GUCs in a Row: array_nulls (Special Update)

PostgreSQL loại bỏ hoàn toàn tham số array_nulls đã bị deprecated từ 2005, sau khi phát hiện lỗi pg_dump không giữ giá trị này trong preamble, dẫn đến việc restore database có array_nulls tắt sẽ chuyển null array thành chuỗi 'NULL' không báo lỗi. Tom Lane chọn loại bỏ thay vì chỉ giới hạn giá trị theo tiền lệ của default_with_oids và escape_string_warning. Việc xóa GUC này phá hỏng lệnh SET, cản trở khởi động server nếu đặt trong postgresql.conf, và khiến pg_upgrade thất bại ngay cả khi chạy --check, như hiện tại khi nâng từ 18.6 lên 19 beta với escape_string_warning và standard_conforming_strings=off. Cần kiểm tra các file config, thiết lập ALTER DATABASE/ROLE, và function body cho array_nulls rồi RESET trước khi upgrade.

Lập trình viên nên đọc bài này để biết cách tránh lỗi nghiêm trọng khi nâng cấp PostgreSQL do việc loại bỏ tham số array_nulls đã gây ra sự cố khôi phục dữ liệu và phá vỡ cấu hình hiện có.

gRPC vs REST Is the Wrong Question · Buf

Bối cảnh: Câu trả lời truyền thống thường khuyên sử dụng REST cho public APIs và gRPC cho microservices. Nguyên nhân kỹ thuật: REST dựa trên HTTP/JSON trong khi gRPC sử dụng Protocol Buffers và HTTP/2, mang lại hiệu suất tốt hơn. Hệ quả: Cách phân chia này tạo ra sự lựa chọn sai lầm vì cả hai đều có thể được sử dụng linh hoạt trong nhiều ngữ cảnh khác nhau. Điều đáng học: Buf cho thấy chúng ta nên cân nhắc dựa on yêu cầu thực tế như hiệu suất, ngôn ngữ và công cụ hỗ trợ thay vì chỉ dựa trên kiến trúc hệ thống.

Bài viết này giúp lập trình viên hiểu sâu hơn về lựa chọn công nghệ API, vượt ra ngoài so sánh bề mặt gRPC và REST để tìm giải pháp phù hợp nhất cho từng ngữ cảnh cụ thể.

The International Ice Patrol

The International Ice Patrol so sánh bốn hệ thống PostgreSQL truy vấn dữ liệu Apache Iceberg/Parquet, bao gồm aurora_analytics của AWS Aurora, pg_lake của Snowflake, ColdFront của pgEdge, và pg_clickhouse FDW của ClickHouse. Aurora nhúng DuckDB vào cùng tiến trình với pushdown đầy phần hoặc tùy thuộc vào biểu thức không được hỗ trợ, trong khi pg_lake chạy DuckDB tiến trình riêng và hỗ trợ ghi ACID đầy đủ nhưng rơi lại planner PostgreSQL với thống kê kém cho các heap joins. ColdFront sử dụng pg_duckdb cho tự động phân tầng hot/cold qua view với việc takeover toàn bộ kế hoạch nhưng vẫn ở beta, còn pg_clickhouse là FDW tiêu chuẩn không hỗ trợ Iceberg gốc và gặp vấn đề về ước tính cardinality. Nên dùng EXPLAIN (VERBOSE) để xác minh planner thực thi join, và mỗi công cụ phù hợp với trường hợp sử dụng cụ thể do cách planner và pushdown khác nhau.

Bài viết này giúp lập trình viên hiểu rõ cách các hệ thống tương thích PostgreSQL truy vấn dữ liệu Iceberg/Parquet và chọn công cụ phù hợp cho nhu cầu cụ thể của họ.