Data liberation: Apache Kafka's native cluster mirroring

How Anthropic Redesigned Source Control

In this article, we’ll look at the architecture behind Scion.

PyTorch 2.15 tackles the 'one bad GPU' problem

PyTorch 2.15 ships a rewritten NCCL backend that stops a single failing GPU from forcing a full training restart. The new ProcessGroupNCCL allows only one communicator per process group during initialization, which by default eliminates the crosstalk that the old version's many communicators caused. A third-party orchestrator can now exclude a crashed or slow GPU and assign a replacement worker. A new 'flight recorder' captures operation snapshots for debugging stalls. The legacy backend remains as a rollback option but will be removed in 2.16, planned for early next year. The release also totals 3,117 commits from 583 contributors and includes parallel processing improvements for Apple gear and support for Nvidia's next-generation Blackwell GPUs.

5 Event Driven Architecture Problems (And How to Avoid Them)

Event-driven architecture (EDA) phổ biến nhưng tiềm nhiều thách thức trong production environment. Vấn đề truy xuất lỗi (tracing) trở nên phức tạp khi sự kiện (event) đi qua nhiều service khác nhau, đòi hỏi hệ thống phân tích log tập trung như ELK stack. Hàng đợi tin hỏi (dead letter queues) dễ bị đầy nếu không implement validation logic kỹ càng, dẫn đến mất dữ kiện quan trọng. Sự không nhất quán cuối cùng (eventual consistency) gây race condition khi nhiều consumer xử lý cùng event đồng thời. Các EDA system cần thiết kế event schema versioning và comprehensive testing framework với Contract Testing để đảm bảo reliability khi số lượng service tăng lên.

Bài viết này giúp lập trình viên nhận diện và giải quyết các vấn đề phổ biến trong kiến trúc hướng sự kiện như tracing, dead letter queues, tính nhất quán cuối cùng và testing.

Outbox Pattern in .NET With Postgres: Concurrent Workers vs the WAL

An API can save an order and crash before publishing the message that tells other services about it.

I Built a Distributed Task Queue from Scratch with Go and PostgreSQL

Tác giả đã xây dựng Dhara, một distributed task queue bằng Go sử dụng PostgreSQL làm queue duy nhất và nguồn sự thật thực tế. Sử dụng replication của PostgreSQL để đảm bảo high availability và các WAL (Write-Ahead Logging) để đảm bảo data consistency. Cấu trúc hiện tại hỗ trợ tới 5,000 tasks mỗi giây với độ trễ chỉ 10ms. Điều đáng học hỏi là việc tối ưu hóa connection pooling và cách tận dụng tính năng built-in của database để giảm dependency hệ thống.

Bài này giúp bạn hiểu cách xây dựng hàng đợi tác vụ phân tạp hiệu quả với Go và PostgreSQL mà không cần các hệ thống lưu trữ phụ.

Why Database Generated IDs Can Complicate Your System Design

Database generated IDs can impact your system design. Generating IDs earlier simplifies asynchronous processing, workflows, and service boundaries.

CAP Theorem and PACELC Explained in Plain English

CAP Theorem xác định rằng trong distributed system chỉ có thể đảm bảo tối đa hai trong ba yếu tố Consistency, Availability, và Partition Tolerance. PACELC mở rộng CAP bằng cách thêm việc phải chọn giữa latency và consistency khi không có partition. Các hệ thống lớn như Amazon Dynamo và Google Bigtable đã chọn Availability và Partition Tolerance với trade-off là eventual consistency. Ngược lại, các hệ thống như Apache Zookeeper và Google Spanner ưu tiên Consistency ngay cả khi ảnh hưởng đến Availability trong trường hợp network partition. Việc hiểu rõ hai định lý này giúp lập trình viên đưa ra quyết định thiết kế phù hợp dựa trên yêu cầu cụ thể của ứng dụng.

Bài viết giúp lập trình viên hiểu rõ các sự đánh đổi trong hệ thống phân tán qua CAP và PACELC để thiết kế ứng dụng hiệu quả.

Benchmarking Billion-Scale Vector Indexes

Benchmarking a vector index at billion-scale means tracking P99/P99.9 latency, Recall@K, QPS at a fixed recall target, index build time, RSS memory, and CPU usage, since averages hide failures. The team used three datasets for different jobs: SIFT-1B (128-d) to test raw scale, LAION-100M (768-d CLIP floats) to test real float behavior, and a self-built BookCorpus-10M (4096-d, via Llama 2) to approximate LLM-scale embeddings. Building BookCorpus-10M took 16 hours on five GPUs at about 173 vectors/sec, producing 164 GB that restores via cbbackupmgr in 2-3 minutes. Partition elimination, tagging vectors with a key like category_id, let a 10-partition layout skip 90% of the work per query, tightening P99 tail latency and raising throughput per core.