Fix unexpected Kafka retention delays. Discover how segment rolling impacts log deletion and align segment.ms with retention.ms to clear old records.
Nguồn: https://developers.redhat.com/articles/2026/09/16/why-your-kafka-topic-ignores-retentionms-and-how-fix-it. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Data-driven architecture tập trung vào nguồn dữ liệu chung (database, data warehouse) mà …
Đang tải bình luận…
Giải quyết vấn đề ghi kép (dual-write) trong ứng dụng Kotlin & Spring Boot bằng cách triển khai mẫu Transactional Outbox với Okapi, hỗ trợ Postgres, MySQL, Kafka và HTTP.
Lập trình viên cần đọc bài này để giải quyết vấn đề đồng thời ghi dữ liệu vào cơ sở dữ liệu và hệ thống message queue một cách đáng tin cậy trong ứng dụng Kotlin-Spring Boot, tránh rủi ro mất dữ liệu do lỗi đồng thời.
Tempo 3.0, phiên bản mới của hệ thống truy vết phân tán mã nguồn mở, giới thiệu kiến trúc tương thích Kafka cho microservices, tách biệt đường đọc-ghi, giảm yêu cầu sao chép RF3 xuống RF1, và thay thế ingesters/compactors bằng block-builders, live-stores cùng scheduler. Tính năng TraceQL metrics giờ đã sẵn sàng, hỗ trợ truy vấn metric trực tiếp từ trace data cùng toán tử so sánh mới, cùng nhiều cải tiến khác như giới hạn cardinality theo label, tối ưu truy vấn TraceQL AST, và công cụ di chuyển từ phiên bản 2.x.
Lập trình viên phát triển ứng dụng microservices nên đọc vì Tempo 3.0 mang đến kiến trúc Kafka-compatible cải tiến, giúp tối ưu hóa quy mô, giảm chi phí vận hành và cung cấp công cụ TraceQL mạnh mẽ để phân tích hiệu suất trực tiếp từ dữ liệu theo dõi phân tán.
Wix cần di chuyển 5 tỷ bản ghi, tổng khoảng 10TB dữ liệu trong vòng 4 tuần để nâng cấp hệ thống lưu trữ của mình. Họ sử dụng Change Data Capture (CDC) để lấy thay đổi real‑time từ nguồn, đưa vào Apache Kafka làm message broker, đồng thời áp dụng database sharding để phân tán tải trên nhiều node. Quá trình diễn ra ổn định, không gây downtime đáng kể, và sau khi hoàn tất họ thực hiện parity testing để xác minh tính nhất quán giữa cơ sở dữ liệu nguồn và đích. Kết hợp CDC, Kafka và sharding cho phép xây dựng pipeline chịu lỗi, mở rộng dễ dàng, giảm rủi ro khi di chuyển khối lượng dữ liệu lớn. Bài viết còn cung cấp chỉ số throughput, cấu hình cụ thể và bài học về monitoring và rollback mà bất kỳ đội dev nào đang cân nhác migration tương tự có thể tham khảo.
Bài viết này sẽ giúp bạn hiểu cách áp dụng CDC (Change Data Capture), Kafka và kỹ thuật phân mảnh cơ sở dữ liệu để tối ưu hóa quá trình di chuyển hàng tỷ dữ liệu một cách hiệu quả và an toàn trong thời gian ngắn.
Red Hat kết hợp OpenShift Dev Spaces với các công cụ phát triển Ansible, tạo ra môi trường nhất quán cho nhà phát triển tự động hóa. Môi trường này được quản lý chặt chẽ, giúp giảm thời gian thiết lập xuống dưới 5 phút. Sử dụng công nghệ container và Kubernetes, nó cung cấp cấu hình sẵn có, bao gồm Ansible, Python, và các công cụ CI/CD khác. Điều này giúp các nhà phát triển tập trung vào nội dung tự động hóa mà không lo lắng về sự không tương thích giữa các môi trường. Với giải pháp này, tổ chức có thể duy trì kiểm soát và tiêu chuẩn đồng thời tăng tốc độ phát triển. Nếu bạn là lập trình viên tự động hóa, đặc biệt với Ansible, đây là giải pháp đáng cân nhắc để tối ưu hóa quy trình làm việc.
Red Hat OpenShift Dev Spaces kết hợp với công cụ Ansible giúp lập trình viên tạo môi trường tự động hóa được quản lý và nhất quán trong vòng năm phút.
Năm mẫu thiết kế hệ thống backend quan trọng (Outbox, Saga, Cache-Aside, Idempotency, CQRS) được giải thích chi tiết thông qua một ví dụ duy nhất, bằng ngôn ngữ đơn giản và dễ hiểu.
Những mẫu thiết kế backend này giúp giải quyết những thách thức thực tế như đồng bộ hóa dữ liệu phức tạp, xử lý lỗi trùng lặp và tối ưu hóa hiệu suất, giúp lập trình viên xây dựng hệ thống backend mạnh mẽ, đáng tin cậy và dễ bảo trì trong các ứng dụng lớn.
Bài viết giới thiệu việc triển khai cải tiến hệ thống Holdings retrieval nhằm loại bỏ tác vụ không cần thiết, nhưng ngay sau đó phải đối mặt với những thách thức thực tế nghiêm trọng.
Bài viết này sẽ giúp bạn hiểu cách một hệ thống được tối ưu hóa từ lý thuyết sang thực tiễn, từ đó tránh những sai lầm thường gặp khi áp dụng kiến trúc mới trong thực chiến.
Việc streaming data vào Apache Iceberg giải quyết khoảng cách bằng cách commit dữ liệu theo định kỳ, nhưng commit thường xuyên dẫn đến vấn đề small file, buộc phải cân bằng giữa tính tươi mới của dữ liệu và sức khỏe bảng.
Một lập trình viên cần đọc bài này để hiểu cách tối ưu hóa việc lưu trữ dữ liệu поток (streaming) vào Iceberg mà không phải lo lắng về vấn đề small file và cân bằng giữa độ tươi mới của dữ liệu với hiệu suất của bảng dữ liệu.
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
Cổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trình1.000+ bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíAI IDE 22 MB cho dev Việt.
Tải miễn phíBộ nhớ tổ chức cho AI agent.
Khám pháAI trực Fanpage, tự sàng lọc lead.
Dùng thử