#kafka

**Data-Driven vs Event-Driven Architecture: How to Pick the Right One**

Data-driven architecture tập trung vào nguồn dữ liệu chung (database, data warehouse) mà …

Reliable Message Delivery: the Transactional Outbox Pattern With Okapi

Giải quyết vấn đề ghi kép (dual-write) trong ứng dụng Kotlin & Spring Boot bằng cách triển khai mẫu Transactional Outbox với Okapi, hỗ trợ Postgres, MySQL, Kafka và HTTP.

Lập trình viên cần đọc bài này để giải quyết vấn đề đồng thời ghi dữ liệu vào cơ sở dữ liệu và hệ thống message queue một cách đáng tin cậy trong ứng dụng Kotlin-Spring Boot, tránh rủi ro mất dữ liệu do lỗi đồng thời.

Tempo 3.0 release: a new architecture for scale and lower TCO, TraceQL metrics GA, and more

Tempo 3.0, phiên bản mới của hệ thống truy vết phân tán mã nguồn mở, giới thiệu kiến trúc tương thích Kafka cho microservices, tách biệt đường đọc-ghi, giảm yêu cầu sao chép RF3 xuống RF1, và thay thế ingesters/compactors bằng block-builders, live-stores cùng scheduler. Tính năng TraceQL metrics giờ đã sẵn sàng, hỗ trợ truy vấn metric trực tiếp từ trace data cùng toán tử so sánh mới, cùng nhiều cải tiến khác như giới hạn cardinality theo label, tối ưu truy vấn TraceQL AST, và công cụ di chuyển từ phiên bản 2.x.

Lập trình viên phát triển ứng dụng microservices nên đọc vì Tempo 3.0 mang đến kiến trúc Kafka-compatible cải tiến, giúp tối ưu hóa quy mô, giảm chi phí vận hành và cung cấp công cụ TraceQL mạnh mẽ để phân tích hiệu suất trực tiếp từ dữ liệu theo dõi phân tán.

5 Billion Records, 10 Terabytes, Four Weeks: A Real Data Migration Playbook

Wix cần di chuyển 5 tỷ bản ghi, tổng khoảng 10TB dữ liệu trong vòng 4 tuần để nâng cấp hệ thống lưu trữ của mình. Họ sử dụng Change Data Capture (CDC) để lấy thay đổi real‑time từ nguồn, đưa vào Apache Kafka làm message broker, đồng thời áp dụng database sharding để phân tán tải trên nhiều node. Quá trình diễn ra ổn định, không gây downtime đáng kể, và sau khi hoàn tất họ thực hiện parity testing để xác minh tính nhất quán giữa cơ sở dữ liệu nguồn và đích. Kết hợp CDC, Kafka và sharding cho phép xây dựng pipeline chịu lỗi, mở rộng dễ dàng, giảm rủi ro khi di chuyển khối lượng dữ liệu lớn. Bài viết còn cung cấp chỉ số throughput, cấu hình cụ thể và bài học về monitoring và rollback mà bất kỳ đội dev nào đang cân nhác migration tương tự có thể tham khảo.

Bài viết này sẽ giúp bạn hiểu cách áp dụng CDC (Change Data Capture), Kafka và kỹ thuật phân mảnh cơ sở dữ liệu để tối ưu hóa quá trình di chuyển hàng tỷ dữ liệu một cách hiệu quả và an toàn trong thời gian ngắn.

5 Backend System Design Patterns Every Engineer Should Actually Understand

Năm mẫu thiết kế hệ thống backend quan trọng (Outbox, Saga, Cache-Aside, Idempotency, CQRS) được giải thích chi tiết thông qua một ví dụ duy nhất, bằng ngôn ngữ đơn giản và dễ hiểu.

Những mẫu thiết kế backend này giúp giải quyết những thách thức thực tế như đồng bộ hóa dữ liệu phức tạp, xử lý lỗi trùng lặp và tối ưu hóa hiệu suất, giúp lập trình viên xây dựng hệ thống backend mạnh mẽ, đáng tin cậy và dễ bảo trì trong các ứng dụng lớn.

Holding Revamp Went Live. Then Reality Check Hit Hard

Bài viết giới thiệu việc triển khai cải tiến hệ thống Holdings retrieval nhằm loại bỏ tác vụ không cần thiết, nhưng ngay sau đó phải đối mặt với những thách thức thực tế nghiêm trọng.

Bài viết này sẽ giúp bạn hiểu cách một hệ thống được tối ưu hóa từ lý thuyết sang thực tiễn, từ đó tránh những sai lầm thường gặp khi áp dụng kiến trúc mới trong thực chiến.

We used a database as a message queue. Now we use Kafka.

FoundationDB was our only database, queue included. We built Apple's QuiCK design on top of it, hit the write limits, and moved async tasks to Kafka.

How We Built a Real-Time Stock Pricing System at Scale

How We Built a Real-Time Stock Pricing System at Scale How we built a production architecture handling 1,900+ messages per second and tens of thousands of concurrent connections with Kafka, Redis …

ElixirConf EU - Learning Resources / Talks - Elixir Programming Language Forum

Kafka-Backed Elixir at Scale - Anton Borisov, Piotr Rybarczyk | ElixirConf EU 2026 Comments welcome! View the code-sync and elixirconf-eu tags for more Code Sync and ElixirConf EU talks!

Why your Kafka topic ignores retention.ms (and how to fix it)

Fix unexpected Kafka retention delays. Discover how segment rolling impacts log deletion and align segment.ms with retention.ms to clear old records.

How We Built Real-Time Stock Pricing at Mofid Brokerage

How We Built Real-Time Stock Pricing at Mofid Brokerage How we built a production architecture handling 1,900+ messages per second and tens of thousands of concurrent connections with Kafka, Redis …

Designing a Scalable Food Delivery System Like Zomato, Swiggy and Uber Eats

Designing a Scalable Food Delivery System Like Zomato, Swiggy and Uber Eats A food-delivery application looks deceptively simple. A user opens the app, searches for restaurants nearby, selects a …

Diskless Kafka: What Happens When Brokers Stop Owning the Data?

Diskless Kafka chuyển log hoạt động sang object storage thay vì lưu trực tiếp trên ổ đĩa vật lý của broker. KIP-1150 là đề xuất kỹ thuật chính từ Kafka thay đổi cách thức ghi dữ liệu bằng cách sử dụng object storage như S3 thay vì local disk. Hệ quả là giảm chi phí storage tới 90% như trong trường hợp của WarpStream nhưng tăng độ trễ đọc lên 30-50ms do truy cập mạng. Điều đáng học là các giải pháp như AutoMQ và Redpanda đều đang áp dụng triết lý tương tự nhưng với cách implement khác nhau, cho thấy đây là hướng đi tất yếu của streaming platforms trong tương lai.

Diskless Kafka giúp hiểu cách công nghệ như KIP-1150, WarpStream, AutoMQ và Redpanda thay đổi kiến trúc lưu trữ và chi phí của hệ thống Kafka hiện đại.

How INTEGER and INT Produced Different Schemas in Debezium

How INTEGER and INT Produced Different Schemas in Debezium A Debezium investigation: how MySQL synonyms INT and INTEGER were treated as different types. One of our CDC pipelines started failing with …

Redpanda named a Leader in G2’s Fall 2026 Event Stream Processing Reports

Redpanda ranked #1 in Implementation, Usability, Results, and Relationship Indexes in G2’s Fall 2026 Event Stream Processing Reports.

Data Engineering in the AI Era - Taming Fragmented Agent Trace Pipelines with a Unified Lakehouse

Analytics, Search, AI, Python Sandbox — unified in Rust. Native on S3.

Push-button migration from Confluent to Redpanda with Shadowing

Migrate off Confluent without the “big cutover weekend.” Redpanda Shadowing carries topic data, schemas, offsets, and ACLs on a single link. Available on Self-Managed , BYOC, and Dedicated.

Ensuring reliable OpenTelemetry ingestion at scale

ClickHouse Cloud cần xử lý lượng dữ liệu télémétri khổng lồ từ các dịch vụ khách hàng để hỗ trợ truy vấn thời gian thực và phân tích hiệu suất. Để đạt được 50 triệu sự kiện mỗi giây qua OpenTelemetry, họ đã triển khai một pipeline ingest dựa trên các worker stateless, sử dụng Kafka làm hàng đợi tạm thời và áp dụng cơ chế back‑pressure tự động để ngăn quá tải khi tốc độ sinh dữ liệu tăng đột biến. Kiến trúc này cho phép mở rộng ngang bằng cách thêm worker mà không thay đổi cấu hình OpenTelemetry ở phía agent, đồng thời duy trì độ trễ dưới 100 ms cho phần lớn sự kiện. Nhờ thiết kế này, hệ thống duy trì tỷ lệ lỗi ingest dưới 0,01 % ngay cả trong các đợt tăng lưu lượng gấp 5 lần so với mức bình thường. Bài học chính là việc kết hợp OpenTelemetry với một lớp đệm mạnh mẽ và cơ chế kiểm soát lưu lượng là chìa khóa để mở rộng thu thập télémétri mà không hy sinh độ tin cậy.

Bài viết này giúp lập trình viên hiểu cách đảm bảo hệ thống thu thập metrics tại quy mô lớn với hiệu suất cao.

How to Scale an Integration Pipeline Without Breaking Correctness

A practitioner's account of scaling an enterprise integration pipeline from 500 to 8,000 events per second without sacrificing correctness. Two invariants anchor everything: version-based last-write-wins to prevent stale overwrites, and transactionally-coupled dedup logging to guarantee exactly-once semantics. Techniques covered include entity-keyed partitioning with adaptive sub-partitioning for hot entities, micro-batching (100 records or 50ms) with per-record savepoints, and three-tier backpressure (self-throttling consumers, producer rate limits, priority-based load shedding). A real incident walkthrough shows circuit breakers, backpressure, and shedding working together during an ERP outage, with a reconciliation report of 23,000 events, 22,987 auto-replayed, 13 in DLQ, zero data loss. Closes by tying the approach to academic literature on skewed key partitioning, effectively-once semantics, and reactive backpressure.

From Kafka to Databend Cloud: Engineering a Trillion-Scale Agent Trace Ingestion Pipeline

Bài viết giới thiệu hệ thống ingest trace quy mô nghìn tỷ (trillion-scale) từ Kafka lên Databend Cloud, sử dụng Rust thống nhất cho các chức năng phân tích, tìm kiếm, AI và Python Sandbox, với khả năng hoạt động trực tiếp trên S3.

Nếu bạn là lập trình viên chuyên về hệ thống phân tích lớn, hiểu về quy trình tích hợp dữ liệu từ nguồn phân tán đến cloud, bài viết này sẽ giúp bạn khám phá cách xây dựng một hệ thống thu thập và xử lý hàng nghìn tỷ trace hiệu quả bằng Rust, với ứng dụng thực tế từ Kafka đến Databend Cloud—làm rõ cách tối ưu hóa quy trình cho quy mô lớn mà không cần phụ thuộc vào Python.

Approaches to Streaming Data into Apache Iceberg Tables

Việc streaming data vào Apache Iceberg giải quyết khoảng cách bằng cách commit dữ liệu theo định kỳ, nhưng commit thường xuyên dẫn đến vấn đề small file, buộc phải cân bằng giữa tính tươi mới của dữ liệu và sức khỏe bảng.

Một lập trình viên cần đọc bài này để hiểu cách tối ưu hóa việc lưu trữ dữ liệu поток (streaming) vào Iceberg mà không phải lo lắng về vấn đề small file và cân bằng giữa độ tươi mới của dữ liệu với hiệu suất của bảng dữ liệu.

Kafka and AI walk into a bar...

Bài viết hướng dẫn tích hợp Kafka, AI và Model Context Protocol (MCP) thông qua công cụ mcp-confluent với Claude Code, bao gồm quản lý cluster và khắc phục các vấn đề CLI.

Một lập trình viên cần đọc bài này để hiểu cách kết hợp Kafka với AI thông qua MCP để tối ưu hóa việc xử lý dữ liệu thực thời và xây dựng hệ thống học máy hiệu quả hơn bằng cách tự động hóa quản lý mô hình và dữ liệu.

Migrate Amazon Aurora PostgreSQL across major versions with active Debezium CDC connectors using native logical replication

Bài viết hướng dẫn cách di chuyển Amazon Aurora PostgreSQL từ phiên bản chính này sang phiên bản khác (như 14 lên 17) mà không làm gián đoạn hoạt động của Debezium CDC bằng cách sử dụng cơ chế native logical replication của PostgreSQL. Phương pháp này thay thế các phương pháp nâng cấp truyền thống (in-place, blue/green) vốn buộc phải tái snapshot dữ liệu, giúp giảm thời gian downtime xuống chỉ còn 2,21 giây trong thử nghiệm.

Lập trình viên phát triển hệ thống dữ liệu cần đọc để hiểu cách tránh rủi ro khi nâng cấp PostgreSQL Aurora từ phiên bản cũ sang mới mà vẫn duy trì sự đồng bộ CDC với Debezium mà không mất thời gian tái sync dữ liệu dài hạn.

Multi-region high availability for Kafka workloads with a single Stretch Cluster

Redpanda Operator phiên bản 26.2 chính thức hỗ trợ Stretch Clusters cho nhân Kafka, cho phép nhân bản đa vùng, tích hợp Redpanda Connect dưới dạng tài nguyên Kubernetes, hỗ trợ Gateway API cùng cơ chế khởi động lại an toàn hơn.

Lập trình viên phát triển ứng dụng sử dụng Kafka nên đọc bài này để hiểu cách triển khai multi-region high availability với Redpanda thông qua Stretch Clusters, giúp tối ưu hóa độ tin cậy và khả năng phục hồi toàn cầu cho hệ thống phân phối dữ liệu.

Sending Events to Azure Event Hubs

Hướng dẫn cấu hình KurrentDB gửi sự kiện tới Azure Event Hubs thông qua Kafka Connector Sink.

Nếu bạn đang làm việc với hệ thống tích hợp dữ liệu hoặc cần chuyển đổi dữ liệu từ PostgreSQL sang Azure Event Hubs một cách hiệu quả, bài hướng dẫn này sẽ giúp bạn áp dụng Kafka Connector Sink để tự động hóa và tối ưu hóa quá trình gửi sự kiện một cách đơn giản và hiệu suất cao.