Redpanda named a Leader in G2’s Fall 2026 Event Stream Processing Reports

SitePoint96 Hot9 min4 d agoAITop

Data-Driven vs Event-Driven Architecture: How to Pick the Right One

Data-driven architecture tập trung vào nguồn dữ liệu chung (database, data warehouse) mà …

SoftwareMill23 Hot12 min1 mo agoAI

Reliable Message Delivery: the Transactional Outbox Pattern With Okapi

Giải quyết vấn đề ghi kép (dual-write) trong ứng dụng Kotlin & Spring Boot bằng cách triển khai mẫu Transactional Outbox với Okapi, hỗ trợ Postgres, MySQL, Kafka và HTTP.

Lập trình viên cần đọc bài này để giải quyết vấn đề đồng thời ghi dữ liệu vào cơ sở dữ liệu và hệ thống message queue một cách đáng tin cậy trong ứng dụng Kotlin-Spring Boot, tránh rủi ro mất dữ liệu do lỗi đồng thời.

#kotlin #kafka #spring-boot Source

Grafana Labs44 Hot13 min3 mo agoAI

Tempo 3.0 release: a new architecture for scale and lower TCO, TraceQL metrics GA, and more

Tempo 3.0, phiên bản mới của hệ thống truy vết phân tán mã nguồn mở, giới thiệu kiến trúc tương thích Kafka cho microservices, tách biệt đường đọc-ghi, giảm yêu cầu sao chép RF3 xuống RF1, và thay thế ingesters/compactors bằng block-builders, live-stores cùng scheduler. Tính năng TraceQL metrics giờ đã sẵn sàng, hỗ trợ truy vấn metric trực tiếp từ trace data cùng toán tử so sánh mới, cùng nhiều cải tiến khác như giới hạn cardinality theo label, tối ưu truy vấn TraceQL AST, và công cụ di chuyển từ phiên bản 2.x.

Lập trình viên phát triển ứng dụng microservices nên đọc vì Tempo 3.0 mang đến kiến trúc Kafka-compatible cải tiến, giúp tối ưu hóa quy mô, giảm chi phí vận hành và cung cấp công cụ TraceQL mạnh mẽ để phân tích hiệu suất trực tiếp từ dữ liệu theo dõi phân tán.

#devops #observability #kafka Source

Wix Engineering0 Hot11 min21 d agoAI

5 Billion Records, 10 Terabytes, Four Weeks: A Real Data Migration Playbook

Wix cần di chuyển 5 tỷ bản ghi, tổng khoảng 10TB dữ liệu trong vòng 4 tuần để nâng cấp hệ thống lưu trữ của mình. Họ sử dụng Change Data Capture (CDC) để lấy thay đổi real‑time từ nguồn, đưa vào Apache Kafka làm message broker, đồng thời áp dụng database sharding để phân tán tải trên nhiều node. Quá trình diễn ra ổn định, không gây downtime đáng kể, và sau khi hoàn tất họ thực hiện parity testing để xác minh tính nhất quán giữa cơ sở dữ liệu nguồn và đích. Kết hợp CDC, Kafka và sharding cho phép xây dựng pipeline chịu lỗi, mở rộng dễ dàng, giảm rủi ro khi di chuyển khối lượng dữ liệu lớn. Bài viết còn cung cấp chỉ số throughput, cấu hình cụ thể và bài học về monitoring và rollback mà bất kỳ đội dev nào đang cân nhác migration tương tự có thể tham khảo.

Bài viết này sẽ giúp bạn hiểu cách áp dụng CDC (Change Data Capture), Kafka và kỹ thuật phân mảnh cơ sở dữ liệu để tối ưu hóa quá trình di chuyển hàng tỷ dữ liệu một cách hiệu quả và an toàn trong thời gian ngắn.

#career #kafka #change-data-capture Source

Medium1 Hot14 min1 mo agoAI

5 Backend System Design Patterns Every Engineer Should Actually Understand

Năm mẫu thiết kế hệ thống backend quan trọng (Outbox, Saga, Cache-Aside, Idempotency, CQRS) được giải thích chi tiết thông qua một ví dụ duy nhất, bằng ngôn ngữ đơn giản và dễ hiểu.

Những mẫu thiết kế backend này giúp giải quyết những thách thức thực tế như đồng bộ hóa dữ liệu phức tạp, xử lý lỗi trùng lặp và tối ưu hóa hiệu suất, giúp lập trình viên xây dựng hệ thống backend mạnh mẽ, đáng tin cậy và dễ bảo trì trong các ứng dụng lớn.

#career #postgresql #distributed-systems Source

Groww Engineering1 Hot10 min1 mo agoAI

Holding Revamp Went Live. Then Reality Check Hit Hard

Bài viết giới thiệu việc triển khai cải tiến hệ thống Holdings retrieval nhằm loại bỏ tác vụ không cần thiết, nhưng ngay sau đó phải đối mặt với những thách thức thực tế nghiêm trọng.

Bài viết này sẽ giúp bạn hiểu cách một hệ thống được tối ưu hóa từ lý thuyết sang thực tiễn, từ đó tránh những sai lầm thường gặp khi áp dụng kiến trúc mới trong thực chiến.

#database #distributed-systems #kafka Source

Redpanda0 Hot11 min1 mo agoAI

Multi-region high availability for Kafka workloads with a single Stretch Cluster

Redpanda Operator phiên bản 26.2 chính thức hỗ trợ Stretch Clusters cho nhân Kafka, cho phép nhân bản đa vùng, tích hợp Redpanda Connect dưới dạng tài nguyên Kubernetes, hỗ trợ Gateway API cùng cơ chế khởi động lại an toàn hơn.

Lập trình viên phát triển ứng dụng sử dụng Kafka nên đọc bài này để hiểu cách triển khai multi-region high availability với Redpanda thông qua Stretch Clusters, giúp tối ưu hóa độ tin cậy và khả năng phục hồi toàn cầu cho hệ thống phân phối dữ liệu.

#kubernetes #distributed-systems #kafka Source

SoftwareMill0 Hot22 min14 d agoAI

Diskless Kafka: What Happens When Brokers Stop Owning the Data?

Diskless Kafka chuyển log hoạt động sang object storage thay vì lưu trực tiếp trên ổ đĩa vật lý của broker. KIP-1150 là đề xuất kỹ thuật chính từ Kafka thay đổi cách thức ghi dữ liệu bằng cách sử dụng object storage như S3 thay vì local disk. Hệ quả là giảm chi phí storage tới 90% như trong trường hợp của WarpStream nhưng tăng độ trễ đọc lên 30-50ms do truy cập mạng. Điều đáng học là các giải pháp như AutoMQ và Redpanda đều đang áp dụng triết lý tương tự nhưng với cách implement khác nhau, cho thấy đây là hướng đi tất yếu của streaming platforms trong tương lai.

Diskless Kafka giúp hiểu cách công nghệ như KIP-1150, WarpStream, AutoMQ và Redpanda thay đổi kiến trúc lưu trữ và chi phí của hệ thống Kafka hiện đại.

#distributed-systems #kafka #redpanda Source

Redpanda named a Leader in G2’s Fall 2026 Event Stream Processing Reports

Recommended for you

Data-Driven vs Event-Driven Architecture: How to Pick the Right One

Bình luận

Reliable Message Delivery: the Transactional Outbox Pattern With Okapi

Tempo 3.0 release: a new architecture for scale and lower TCO, TraceQL metrics GA, and more

5 Billion Records, 10 Terabytes, Four Weeks: A Real Data Migration Playbook

5 Backend System Design Patterns Every Engineer Should Actually Understand

Holding Revamp Went Live. Then Reality Check Hit Hard

Multi-region high availability for Kafka workloads with a single Stretch Cluster

Diskless Kafka: What Happens When Brokers Stop Owning the Data?

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads