5. High Reliability: How Great Software Recovers Gracefully (Part 2)

Kafka's log compaction corrupts data. Here's how we fixed it

Apache Kafka có lỗ hổng trong cơ chế log compaction khiến dữ liệu bị hỏng do xung đột giữa compaction và replication, gây ra bốn vấn đề: dữ liệu đã xóa tái xuất hiện, giao dịch bị hủy hiện dưới dạng đã commit, dữ liệu đã commit bị ẩn, và consumers read_committed bị đóng băng partition. Redpanda Streaming khắc phục bằng giao thức compaction phối hợp, sử dụng các cặp offset (MCCO/MTRO, MXFO/MXRO) để đảm bảo tombstones và transaction markers không bị xóa trước khi tất cả replicas xử lý xong. Lỗi này có thể tái hiện trên Kafka phiên bản 3.9 đến 4.2 bằng Docker Compose.

Lập trình viên cần đọc bài này để hiểu cách giải quyết vấn đề lỗi race condition trong log compaction của Kafka, giúp tránh mất dữ liệu và bảo đảm tính nhất quán khi xử lý các trường hợp đồng bộ hóa dữ liệu trên nhiều broker.

Grafana 13.1 release: observability as code updates, extending Grafana Assistant across more data sources, and more

Bản phát hành Grafana 13.1 bổ sung nhiều cải tiến trong observability as code, truy vấn hỗ trợ AI (Grafana Assistant) và dashboard. Git Sync được nâng cấp với import dashboard trực tiếp, sync cấp root, hiển thị README.md nội tuyến và ký commit GPG/SSH/S/MIME. Grafana Assistant mở rộng hỗ trợ thêm 8 data source (Snowflake, Oracle, Elasticsearch, v.v.) và có sẵn trong Grafana Enterprise. Dashboard cải tiến với biến cấp section, trình chỉnh sửa truy vấn mới (multi-select, stacked view), bộ lọc nhanh, điều khiển hiển thị series, bảng lồng ghép và sao chép-dán style panel. Private Data Source Connect (PDC) bổ sung hỗ trợ MQTT, GitHub và IBM Db2.

Lập trình viên phát triển giải pháp giám sát và tự động hóa nên đọc bài này để khám phá cách Grafana 13.1 nâng cấp khả năng tích hợp AI, quản lý dữ liệu từ nhiều nguồn mới và cải tiến công cụ quản lý dashboard, giúp tối ưu hóa quy trình phát triển và triển khai hệ thống theo mô hình observability as code.

A revamped way to create and manage alerts across all your telemetry

Last9 đã tái thiết hệ thống cảnh báo từ đầu, với trình chỉnh sửa mới hợp nhất việc tạo cảnh báo cho metrics và logs, hỗ trợ PromQL/LogQL cùng Builder không code, cùng chế độ xem trước trực tiếp. Bản cập nhật bổ sung trang Rules mới, Alert Monitor, cài đặt cảnh báo theo nhóm, khả năng kiểm tra kênh thông báo trước khi triển khai, cùng cải tiến dashboard (tải CSV, panel markdown, hỗ trợ Terraform) và sửa lỗi trên mobile SDK.

Lập trình viên nên đọc bài này vì giải pháp mới của Last9 giúp tối ưu hóa quản lý cảnh báo từ dữ liệu telemetry một cách hiệu quả hơn, với công cụ trực quan và tích hợp no-code, giúp phát triển và kiểm soát quy trình theo dõi lỗi và cảnh báo nhanh chóng hơn.

How to use traces to avoid breaking changes

Sử dụng tracing giúp phát hiện sớm các vấn đề tiềm ẩn khi thay đổi hệ thống bằng cách theo dõi luồng dữ liệu và sự kiện trong môi trường phân tán. Các thư viện phổ biến như OpenTracing, OpenTelemetry, Zipkin và Jaeger hỗ trợ giám sát, trong khi Digma cung cấp phản hồi tức thì trong quá trình phát triển.

Lập trình viên nên đọc bài này để hiểu cách sử dụng tracing để phát hiện và tránh giải phóng lại (breaking changes) khi cập nhật hệ thống, đặc biệt trong môi trường phân tán, bằng cách theo dõi và phân tích chuỗi hoạt động để đảm bảo tính ổn định.

OpenClaw’s new app doesn’t run AI on your phone. That’s the whole point.

OpenClaw launched iOS and Android apps that act as lightweight clients connecting to a persistent AI agent running elsewhere, rather than running AI on-device. This architectural pattern — keeping the agent in a persistent runtime while phones serve as authenticated endpoints — is emerging across multiple companies including Anthropic (Claude Cowork with Dispatch) and OpenAI (Codex). The shift changes developer priorities from mobile constraints like battery and memory to new challenges: secure device-to-agent connections, multi-device permission management, and robust identity/authentication for persistent agents that can read files, send emails, and call APIs. Personal AI agents are increasingly resembling distributed systems rather than mobile apps.

How OpenAI Delivers Low-Latency Voice AI for 900M Users

OpenAI cung cấp dịch vụ voice AI cho 900 triệu người dùng mỗi tuần bằng cách tách hạ tầng WebRTC thành hai phần: relay stateless (định tuyến gói tin tại biên địa lý) và transceiver stateful (quản lý trạng thái ICE, DTLS, SRTP). Kỹ thuật mã hóa metadata đích vào trường ICE ufrag giúp relay chuyển gói tin đầu tiên đến transceiver đúng mà không cần tra cứu database. Relay được viết bằng Go, sử dụng SO_REUSEPORT, ghim thread (runtime.LockOSThread) và bộ đệm tiền cấp phát, hoàn toàn không dùng kernel bypass. Global Relay phân phối điểm vào theo địa lý, với Cloudflare xử lý định tuyến tín hiệu dựa trên khoảng cách. Bài viết cũng giải thích lý do loại bỏ SFU và TURN cho workload chủ yếu 1:1, đồng thời đề cập đến các đánh đổi như hỗ trợ multiparty hạn chế và gánh nặng bảo trì hạ tầng tùy chỉnh.

Lập trình viên nên đọc bài này để hiểu cách xây dựng một hệ thống giao tiếp thời gian thực (WebRTC) hiệu quả với chi phí thấp và độ trễ cực nhỏ, từ kiến thức kỹ thuật cụ thể về thiết kế relay stateless, quản lý state ICE/DTLS/SRTP và tối ưu hóa hiệu suất bằng Go và SO_REUSEPORT.

A Quadrillion Rows across three Clouds: scaling LogHouse

LogHouse, nền tảng logging nội bộ của ClickHouse, đã mở rộng quy mô từ 19 PiB lên 431 PiB (1,59 triệu tỷ hàng) trên hơn 30 vùng trên ba nhà cung cấp cloud nhờ các quyết định kiến trúc như geosharding, Async Inserts, phân vùng (partitioning) linh hoạt, pipeline OTel dựa trên S3, và hệ thống bảng Distributed ba cấp (local → regional → global). Hệ thống đạt đỉnh 80 GiB/s dung lượng ghi và 190 triệu hàng/giây, đồng thời duy trì thời gian truy vấn dưới 300ms nhờ cơ chế sharding key tối ưu.

Lập trình viên cần đọc để tìm hiểu cách LogHouse của ClickHouse xử lý vấn đề scaling hàng trăm tỉ hàng dữ liệu phân tán trên nhiều cloud, từ kiến trúc phân vùng địa lý, lưu trữ hiệu quả đến tối ưu hóa truy vấn và lưu lượng nhập dữ liệu cao, giúp áp dụng cho các giải pháp log/observability của riêng mình.