#change-data-capture

The strangler fig pattern: modernizing without a big-bang rewrite

The strangler fig pattern hiện đại hóa hệ thống legacy bằng cách thay thế từng phần nhỏ …

Monolith to Service Architecture

Di chuyển từ kiến trúc monolith sang microservices cần áp dụng các pattern cụ thể thay vì viết lại toàn bộ. Bốn chiến lược chính gồm: Strangler Fig (dần dần chuyển lưu lượng qua API gateway), Parallel Run (chạy song song để kiểm chứng), Collaborator (thêm microservices mới mà không sửa core), và Change Data Capture (đồng bộ dữ liệu real-time bằng Debezium/Kafka Connect). Các pattern này hiệu quả nhất khi kết hợp theo trình tự trong quá trình chuyển đổi.

Lập trình viên nên đọc bài này để hiểu cách chuyển đổi từ kiến trúc monolith sang microservices một cách chỉnh xác, ít rủi ro và tối ưu hóa hiệu suất, không phải là một thay đổi đột ngột mà là một quá trình thuần túy, có kế hoạch với các mẫu thiết kế hiệu quả.

Debezium 3.7.0.Beta2 Released

Debezium 3.7.0.Beta2 đã được phát hành, đây là nền tảng open source dùng cho change data capture. Bản này cải thiện hiệu năng khi xử lý sự kiện từ database, giảm thời gian xử lý xuống còn 2ms cho mỗi event. Hệ quả là ứng dụng phản ứng nhanh hơn 30% so với phiên bản trước. Điều đáng học là cách Debezium sử dụng consistent snapshotting để đảm bảo không bỏ sót sự kiện ngay cả khi database gặp sự cố.

Debezium 3.7.0.Beta2 mang đến những cải tiến quan trọng giúp lập trình viên nắm bắt thay đổi dữ liệu hiệu quả hơn trong hệ thống phân tán.

5 Billion Records, 10 Terabytes, Four Weeks: A Real Data Migration Playbook

Wix cần di chuyển 5 tỷ bản ghi, tổng khoảng 10TB dữ liệu trong vòng 4 tuần để nâng cấp hệ thống lưu trữ của mình. Họ sử dụng Change Data Capture (CDC) để lấy thay đổi real‑time từ nguồn, đưa vào Apache Kafka làm message broker, đồng thời áp dụng database sharding để phân tán tải trên nhiều node. Quá trình diễn ra ổn định, không gây downtime đáng kể, và sau khi hoàn tất họ thực hiện parity testing để xác minh tính nhất quán giữa cơ sở dữ liệu nguồn và đích. Kết hợp CDC, Kafka và sharding cho phép xây dựng pipeline chịu lỗi, mở rộng dễ dàng, giảm rủi ro khi di chuyển khối lượng dữ liệu lớn. Bài viết còn cung cấp chỉ số throughput, cấu hình cụ thể và bài học về monitoring và rollback mà bất kỳ đội dev nào đang cân nhác migration tương tự có thể tham khảo.

Bài viết này sẽ giúp bạn hiểu cách áp dụng CDC (Change Data Capture), Kafka và kỹ thuật phân mảnh cơ sở dữ liệu để tối ưu hóa quá trình di chuyển hàng tỷ dữ liệu một cách hiệu quả và an toàn trong thời gian ngắn.

Debezium 3.6.2.Final Released

Debezium 3.6.2.Final là bản phát hành mới nhất của nền tảng open source change data capture, cho phép ứng dụng phản ứng với các thay đổi trong database. Với khả năng tracking inserts, updates, và deletes từ các transaction khác, Debezium đảm bảo không bỏ sót sự kiện nào. Nền tảng này tập trung vào độ bền và tốc độ xử lý, đảm bảo ứng dụng phản hồi nhanh ngay cả khi có sự cố. Lập trình viên làm việc với streaming data và CDC nên cân nhắc xem xét bản release này để hiểu rõ các cải tiến.

Debezium 3.6.2.Final mang đến những cải tiến quan trọng giúp lập trình viên tối ưu hóa việc theo dõi thay đổi dữ liệu trong hệ thống phân tán.

A new getting started experience for ClickHouse Managed Postgres

Bài viết mô tả trải nghiệm bắt đầu mới được giới thiệu cho ClickHouse Managed Postgres. Trải nghiệm này dựa trên một quy trình tích hợp gồm bốn bước để hướng dẫn người dùng từ việc cung cấp dịch vụ cho đến khả năng truy vấn dữ liệu hoạt động. Nhờ các bước cụ thể như cấu hình kết nối, nhập schema, thiết lập pipeline và chạy truy vấn mẫu, người dùng có thể nhanh chóng chuyển sang thực hiện phân tích thời gian thực với ClickHouse. Kết quả là thời gian từ việc tạo instance tới lần đầu truy vấn được giảm đáng kể, tăng khả năng tiếp cận và giảm lỗi cấu hình ban đầu. Điều này cho thấy việc đơn hoá quy trình onboarding không chỉ cải thiện trải nghiệm người dùng mà còn tạo điều kiện cho việc áp dụng phân tích real‑time sớm hơn trong dự án.

Bài viết hướng dẫn trải nghiệm khởi động mới bốn bước giúp lập trình viên nhanh chóng triển khai ClickHouse Managed Postgres và thực hiện phân tích dữ liệu thời gian thực.

Debezium 3.7.0.Beta1 Released

Debezium 3.7.0.Beta1 là bản phát hành beta mới nhất của nền tảng mã nguồn mở phân tán dùng để bắt thay đổi dữ liệu (Change Data Capture). Bản beta này tiếp tục duy trì tính năng kết nối với các cơ sở dữ liệu phổ biến như MySQL, PostgreSQL, MongoDB và SQL Server, cho phép ứng dụng theo dõi ngay các thao tác INSERT, UPDATE, DELETE. Nhờ cơ chế lưu trữ bền vững và xử lý nhanh, Debezium đảm bảo không bỏ lỡ bất kỳ sự kiện nào ngay cả khi hệ thống gặp sự cố. Với việc phát hành beta, nhóm phát triển muốn thu thập phản hồi từ cộng đồng để ổn định phiên bản 3.7.0 cuối cùng. Điều này nhắc nhở các lập trình viên rằng việc sử dụng một giải pháp CDC đáng tin cậy như Debezium giúp xây dựng hệ thống phản hồi sự kiện real‑time mà không lo mất dữ liệu.

Debezium 3.7.0.Beta1 mang đến những cải tiến đáng chú ý cho việc xử lý sự kiện thay đổi dữ liệu hiệu quả.

Debezium 3.6.1.Final Released

Debezium là nền tảng mã nguồn mở dùng để capture dữ liệu thay đổi (CDC) theo thời gian thực, hỗ trợ theo dõi các thao tác insert, update, delete trên cơ sở dữ liệu. Nó hoạt động bền vững và nhanh chóng, giúp ứng dụng phản hồi kịp thời mọi sự kiện ngay cả khi xảy ra lỗi.

Là người phát triển cần xây dựng hệ thống theo dõi thay đổi dữ liệu thực thời từ các cơ sở dữ liệu, Debezium sẽ giúp bạn tối ưu hóa việc đồng bộ hóa và xử lý sự kiện thay đổi nhanh chóng, giảm thiểu lỗi và tăng hiệu suất cho ứng dụng của bạn.

Debezium 3.7.0.CR1 Released

Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong.

Multi-source and multi-pipeline RDI: one install instead of many

Developers love Redis. Unlock the full potential of the Redis database with Redis Enterprise and start building blazing fast apps.

How Fountain rebuilt its data plane on ClickHouse Cloud to power Cue, the Frontline Superintelligence

Fountain cut analytics latency from three hours to under two minutes and costs by 66% by rebuilding Cue’s data plane on ClickPipes and ClickHouse Cloud.

Postgres on NVMe: performance and the convergence of transactions and analytics

See how local NVMe transforms Postgres transaction performance—and why ClickHouse remains essential for fast analytics as workloads scale.

Debezium 3.6.3.Final Released

Debezium 3.6.3.Final được phát hành như một nền tảng open source distributed platform for change data capture. Công nghệ này hoạt động bằng cách giám sát các thay đổi trong database (inserts, updates, deletes) và gửi sự kiện đến ứng dụng. Điểm mạnh của Debezium là tính durable and fast, đảm bảo ứng dụng không bỏ lỡ sự kiện ngay cả khi có sự cố. Lập trình viên đang tìm giải pháp change data capture nên xem xét Debezium vì khả năng hoạt động ổn định và hiệu suất cao trong môi trường production.

Debezium 3.6.3.Final mang đến những cải tiến quan trọng về hiệu suất và độ ổn định cho hệ thống thu thập thay đổi dữ liệu.

Supersonic Subatomic Debezium Server: Native builds with Quarkus and Mandrel

Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong.

Legacy system integration: when to wrap a system instead of replacing it

Legacy system integration thường gặp vấn đề khi các ứng dụng cũ không tương thích với kiến trúc hiện đại. API facade và anti-corruption layer giúp tách rủi ro với chi phí vận hành khoảng $50,000-$200,000/năm tùy độ phức tạp. Phương án CDC (Change Data Capture) hiệu quả cho cơ sở dữ liệu lớn nhưng gây tăng latency khoảng 100-500ms. iPaaS (Integration Platform as a Service) linh hoạt nhưng tổng chi phí có thể đạt $500,000+ cho doanh nghiệp quy mô trung bình.

Bài viết giúp lập trình viên quyết định khi nào nên bọc hệ thống cũ thay vì thay thế, tiết kiệm chi phí và thời gian hiện đại hóa.

How INTEGER and INT Produced Different Schemas in Debezium

How INTEGER and INT Produced Different Schemas in Debezium A Debezium investigation: how MySQL synonyms INT and INTEGER were treated as different types. One of our CDC pipelines started failing with …

MySQL CDC connector for ClickPipes is now Generally Available

Replicate MySQL and MariaDB data into ClickHouse Cloud with the generally available MySQL CDC connector, featuring faster parallel snapshots, safer production defaults, improved observability, and infrastructure-as-code support.

Databend Incremental Materialized Views - Change Tracking, Incremental Refresh, and Consistent Reads

Analytics, Search, AI, Python Sandbox — unified in Rust. Native on S3.

Amazon Redshift now supports Apache Iceberg v3 tables

Discover more about what's new at AWS with Amazon Redshift now supports Apache Iceberg v3 tables

Dynamic Tables Just Got Faster and Far More Flexible — PART 3 (end)

Dynamic Tables Just Got Faster and Far More Flexible — PART 3 (end) A hands-on guide to Snowflake’s 2026 Dynamic Tables updates — with every example run against a live account. Disclaimer: I am …

Modernizing SQL ETL in Lakehouse with Declarative Patterns

Databricks brings declarative ETL to the SQL Editor with APPEND, AUTO CDC, and REPLACE WHERE flows in Lakehouswe.

Debezium in Production: PostgreSQL to Kafka to Iceberg CDC Patterns That Actually Work

A production deep-dive into the PostgreSQL to Kafka to Iceberg CDC path with Debezium: pgoutput logical decoding, replication slots, snapshot strategies, throughput tuning, delivery guarantees, and Iceberg sink options.

Your Pipeline Is Real-Time. Your AI Is Still Ten Minutes Behind.

Your Pipeline Is Real-Time. Your AI Is Still Ten Minutes Behind. CDC is only one clock between a database change and an AI decision. At 2:03:17 PM, a customer cancels their subscription. At …

Unlocking real-time analytics: Streaming Aurora DSQL changes into Apache Iceberg

A walkthrough demonstrates streaming Amazon Aurora DSQL change data capture (CDC) events into Apache Iceberg tables stored on Amazon S3 via Amazon Data Firehose, queryable through Amazon Athena. The design uses two Iceberg tables: an append-only cdc_events audit trail ordered by transaction commit timestamp, and a current_state table that merges rows by primary key with tombstone flags for deletes. It covers handling out-of-order CDC delivery, reconstructing a strictly correct current state from cdc_events, deployment via a CloudFormation stack, and exploring results with a Streamlit dashboard.

Debezium 3.7.0.Alpha2 Released

Debezium là nền tảng mã nguồn mở cho phép capture dữ liệu thay đổi (CDC) theo thời gian thực từ các cơ sở dữ liệu. Nó hoạt động bền vững và nhanh chóng, giúp ứng dụng phản hồi kịp thời các thao tác insert, update, delete mà không bỏ sót sự kiện.

Lập trình viên cần đọc bài này để khám phá cách Debezium giúp chuyển đổi dữ liệu thay đổi từ các cơ sở dữ liệu truyền thống thành các nguồn dữ liệu thời gian thực, tối ưu hóa việc phát triển ứng dụng theo mô hình Event-Driven và giảm thiểu rủi ro mất dữ liệu trong hệ thống phân tán.

Change Data Capture vs Batch ETL for AI Agents

CDC thay thế các pipeline ETL batch lỗi thời bằng dữ liệu thời gian thực cho AI agents, giảm độ trễ từ hàng giờ xuống vài giây nhờ Redis và RDI.

Một lập trình viên cần đọc bài này để hiểu cách chuyển đổi từ ETL batch truyền thống sang Change Data Capture (CDC) để xây dựng các hệ thống AI hiệu quả hơn, tránh mất thời gian và chi phí do dữ liệu cũ kém chất lượng gây ra.

Taking AUTO CDC to the next level: Solving the hardest real-world use cases

AUTO CDC nâng cấp khả năng capture dữ liệu thay đổi (CDC) bằng cách bổ sung hỗ trợ Bitemporal, Partial Updates và đóng góp mã nguồn mở cho Apache Spark 4.2, giúp giải quyết các trường hợp sử dụng thực tế khó khăn ở quy mô lớn.

Lập trình viên chuyên nghiệp cần đọc bài này để khám phá cách AUTO CDC mở rộng khả năng xử lý thay đổi dữ liệu phức tạp trong các trường hợp thực tế như cập nhật bán toàn bộ, thời gian sinh tồn (bitemporal) và tích hợp mở rộng với Apache Spark, giúp tối ưu hóa quy trình chuyển đổi và lưu trữ dữ liệu hiệu quả hơn.

How We Pushed CDC into Postgres

Snowflake giới thiệu Postgres Mirroring với cơ chế push-based CDC, cho phép sao chép giao dịch thời gian thực (zero lag) từ PostgreSQL vào data lake.

Lập trình viên muốn tối ưu hóa quy trình chuyển đổi dữ liệu từ cơ sở dữ liệu truyền thống sang Data Lake mà không gặp rủi ro mất thời gian hoặc hiệu suất, nên đọc bài này để tìm hiểu về Snowflake Postgres Mirroring—cách triển khai change data capture (CDC) dựa trên push để tái tạo dữ liệu thực thời mà không cần chờ đợi.

Detect CDC failures faster with AWS DMS

AWS DMS hỗ trợ cơ chế retry lỗi phục hồi (recoverable errors) bằng exponential backoff, nhưng mặc định có thể mất tới 30 phút mới thất bại. Bài viết hướng dẫn điều chỉnh bốn thiết lập quan trọng (RecoverableErrorCount, RecoverableErrorInterval, RecoverableErrorThrottling, RecoverableErrorThrottlingMax) để phát hiện lỗi CDC nhanh hơn, với cấu hình đề xuất giúp task thất bại sau ~225 giây. Ngoài ra, bài viết khuyến nghị thiết lập chính sách lỗi STOP_TASK trong giai đoạn cutover để ngăn chặn data drift, kết hợp cùng Amazon EventBridge và CloudWatch alarms theo dõi CDCLatencyTarget.

Lập trình viên cần hiểu cách tối ưu hóa AWS DMS để tránh lỗi ẩn giấu trong quá trình chuyển đổi dữ liệu, đặc biệt khi việc điều chỉnh các tham số như RecoverableErrorCount và RecoverableErrorThrottling có thể giúp phát hiện lỗi chỉ trong vài phút thay vì 30 phút, giúp bảo vệ dữ liệu và tránh rủi ro trong các cuộc chuyển đổi lớn.

The valley of webhooks

Tôi đã xây dựng ba hệ thống tiêu thụ webhook giống nhau tại ba công ty khác nhau. Lần thứ tư, tôi muốn tìm một giải pháp tổng quát hơn cho vấn đề này.

Một lập trình viên nên đọc bài này để khám phá cách tối ưu hóa lại cơ chế xử lý webhook—tránh sự lặp lại rắc rối khi phải tái phát triển từ đầu mỗi lần triển khai mới.

We'll End Up Where We Started. Except with Different Technology.

Chúng ta sẽ quay trở lại điểm xuất phát, nhưng với công nghệ khác biệt hoàn toàn.

Đọc bài này giúp lập trình viên hiểu rằng sự đổi mới kỹ thuật không ngừng diễn ra, nhưng bản chất của việc giải quyết vấn đề vẫn giữ nguyên—chỉ thay đổi công cụ và cách tiếp cận, nên phải luôn cập nhật kiến thức và kỹ năng để không bị lạc hậu trong ngành.

Writing Events Is All You Need

Ba định dạng lưu trữ dữ liệu (state-only, CDC, event sourcing) đạt lần lượt 28%, 59% và 85% trong bài benchmark 300 câu hỏi thuộc 5 lĩnh vực, cho thấy định dạng dữ liệu (event sourcing) đóng vai trò quan trọng trong khả năng reasoning của agent.

Một lập trình viên nên đọc bài này để hiểu cách event sourcing và CDC (Change Data Capture) không chỉ là các giải pháp lưu trữ dữ liệu mà còn là những phương pháp mạnh mẽ giúp xây dựng hệ thống có khả năng xử lý logic phức tạp, lý giải hành động của ứng dụng một cách chính xác và hiệu quả hơn so với các cơ sở dữ liệu chỉ lưu trạng thái.

Time Travel for Data: Traditional Workarounds vs. the Kurrent Way

Hệ thống dữ liệu truyền thống gặp nhiều hạn chế trong việc truy xuất dữ liệu theo thời gian. KurrentDB giải quyết vấn đề này nhờ kiến trúc dựa trên sự kiện (event-based), cho phép "du hành thời gian" dữ liệu một cách hiệu quả.

Là người viết mã, bạn sẽ hiểu rõ cách KurrentDB không chỉ phục hồi dữ liệu mà còn giải quyết vấn đề time travel một cách hiệu quả hơn so với các phương pháp truyền thống, giúp tối ưu hóa thời gian debug và bảo trì ứng dụng của bạn.