Debezium 3.6.2.Final Released

Apache Kafka vs Apache Iggy: Same Log, Different Engine

Bối cảnh: Cả Apache Kafka và Apache Iggy đều được thiết kế như một hệ thống log phân tán để xử lý luồng

Bài này giúp bạn hiểu rõ sự khác biệt giữa Kafka và Iggy để chọn streaming engine phù hợp nhất với nhu cầu công việc.

New system views in PostgreSQL 19

PostgreSQL 19 ra mắt bản cập nhật chính thức và đi kèm với bốn view hệ thống mới. Những view này cho phép truy vấn trực tiếp về tình trạng khóa (lock contention), quá trình phục hồi (recovery state), mức độ ưu tiên của autovacuum và cách cấp phát bộ nhớ chia sẻ động (dynamic shared memory allocations). Trước đây, quản trị viên thường phải dựa trên các extension bên ngoài hoặc truy vấn các pg_catalog phức tạp để thu thập thông tin tương tự. Với các view mới, việc giám sát và chẩn đoán các vấn đề hiệu suất trở nên nhanh chóng và không cần cài đặt thêm thành phần. Điều này cho thấy việc cải thiện khả năng quan sát nội bộ của PostgreSQL có thể giảm thời gian debug và giúp tối ưu hoá cấu hình mà không cần phụ thuộc vào công cụ của bên thứ ba.

Bài viết này giúp lập trình viên dễ dàng kiểm tra các vấn đề về lock contention, trạng thái phục hồi, ưu tiên autovacuum và phân bổ bộ nhớ chia sẻ động trong PostgreSQL 19.

5 Billion Records, 10 Terabytes, Four Weeks: A Real Data Migration Playbook

Wix cần di chuyển 5 tỷ bản ghi, tổng khoảng 10TB dữ liệu trong vòng 4 tuần để nâng cấp hệ thống lưu trữ của mình. Họ sử dụng Change Data Capture (CDC) để lấy thay đổi real‑time từ nguồn, đưa vào Apache Kafka làm message broker, đồng thời áp dụng database sharding để phân tán tải trên nhiều node. Quá trình diễn ra ổn định, không gây downtime đáng kể, và sau khi hoàn tất họ thực hiện parity testing để xác minh tính nhất quán giữa cơ sở dữ liệu nguồn và đích. Kết hợp CDC, Kafka và sharding cho phép xây dựng pipeline chịu lỗi, mở rộng dễ dàng, giảm rủi ro khi di chuyển khối lượng dữ liệu lớn. Bài viết còn cung cấp chỉ số throughput, cấu hình cụ thể và bài học về monitoring và rollback mà bất kỳ đội dev nào đang cân nhác migration tương tự có thể tham khảo.

Bài viết này sẽ giúp bạn hiểu cách áp dụng CDC (Change Data Capture), Kafka và kỹ thuật phân mảnh cơ sở dữ liệu để tối ưu hóa quá trình di chuyển hàng tỷ dữ liệu một cách hiệu quả và an toàn trong thời gian ngắn.

Migration files and Git do not mix — DiffyPick Blog

Trong hệ thống version control như Git, các thay đổi schema tồn tại trong các file riêng biệt nên hiếm khi gây xung đột merge. Việc lưu trữ migration files trong Git không đồng nghĩa với việc quản lý chúng hiệu quả bởi Git không hiểu ngữ cảnh của các thay đổi database schema. Hệ quả là các migration files có thể trở nên lỗi thời hoặc gây khó khăn trong việc tracking changes thực tế. Lập trình viên nên cân nhắc sử dụng các công cụ chuyên dụng như Liquibase hoặc Flyway để quản lý schema thay vì phụ thuộc hoàn toàn vào Git tracking.

Lập trình viên nên đọc bài này để hiểu cách quản lý migration files trong Git để tránh hiểu lầm về việc các thay đổi schema được tự động hợp nhất.

Postgres's implicit transactions

PostgreSQL mặc định bọc mỗi câu lệnh trong một giao dịch riêng khi không có BEGIN…COMMIT …

Read your writes: WAIT FOR in PostgreSQL 19

Trong PostgreSQL, các replica bất đồng bộ thường trả về dữ liệu cũ vì chúng chỉ áp dụng …

pgwatch v6: dashboards reimagined, and a reaper that doesn't choke

Bối cảnh: bài viết mở rộng giới thiệu các tính năng mới của pgwatch v6.0.0 beta, tập trung vào việc cải tiến dashboard và cải thiện quá trình thu thập dữ liệu. Nguyên nhân kỹ thuật: thay đổi cách dashboard được xây dựng bằng React và tối ưu hoá luồng xử lý để giảm tải server. Hệ quả: dashboard hiển thị nhanh hơn và reaper không còn gặp lỗi choking khi xử lý dữ liệu lớn. Điều đáng học: việc sử dụng các thư viện UI hiện đại và tối ưu hoá truy vấn giúp tăng hiệu suất và độ ổn định. Bài viết khuyến khích cộng đồng tham gia đóng góp mã nguồn để hoàn thiện tính năng.

We need to output exactly one short Vietnamese sentence explaining why a programmer should read this. Must be correct Vietnamese, no markdown, no opening greeting. Must only use Vietnamese and Latin characters, no Chinese/Japanese/Korean/Han characters. Latin characters are allowed (i.e., English letters). Names of technical terms must remain Latin (e.g., pgwatch, dashboards, reaper). Must not include any non-Latin characters (i.e., no diacritics? Actually Vietnamese uses diacritics which are Latin letters with diacritics; those are still Latin characters? The instruction says "chỉ dùng chữ Việt và chữ Latin: tuyệt đối không có ký tự Hán/Trung/Nhật/Hàn trong câu trả lời". Vietnamese uses Latin alphabet with diac

Connection Pool Sizing, Measured: Why 48 Connections Beat 400

Bài viết thực nghiệm trên PostgreSQL bằng cách tăng số kết nối từ 1 lên 400 để đo throughput và latency. Kết quả cho thấy throughput đạt đỉnh ở khoảng 48 kết nối, sau đó giảm 37% khi tăng lên 400 kết nối, đồng thời latency tăng gấp 13 lần. Nguyên nhân là sự cạnh tranh về tài nguyên bộ nhớ và luồng trong PostgreSQL khi số kết nối vượt quá khả năng xử lý của CPU và bộ nhớ đệm, gây ra hiện tượng thrashing và tăng thời gian chờ lock. Điều này dạy chúng ta nên đo lường đường cong hiệu suất và chọn kích thước connection pool phù hợp, thay vì đặt giá trị cao nhất có thể.

Bài viết này giúp lập trình viên hiểu cách tối ưu kích thước connection pool để đạt hiệu suất cao nhất.