A practitioner's account of scaling an enterprise integration pipeline from 500 to 8,000 events per second without sacrificing correctness. Two invariants anchor everything: version-based last-write-wins to prevent stale overwrites, and transactionally-coupled dedup logging to guarantee exactly-once semantics. Techniques covered include entity-keyed partitioning with adaptive sub-partitioning for hot entities, micro-batching (100 records or 50ms) with per-record savepoints, and three-tier backpressure (self-throttling consumers, producer rate limits, priority-based load shedding). A real incident walkthrough shows circuit breakers, backpressure, and shedding working together during an ERP outage, with a reconciliation report of 23,000 events, 22,987 auto-replayed, 13 in DLQ, zero data loss. Closes by tying the approach to academic literature on skewed key partitioning, effectively-once semantics, and reactive backpressure.
Source: https://towardsdatascience.com/scaling-an-integration-pipeline-without-breaking-correctness. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Đang tải bình luận…
Data-driven architecture tập trung vào nguồn dữ liệu chung (database, data warehouse) mà …
Concurrency control trong hệ thống phân tạp tồn tại hai hình thức khác nhau và hầu hết lỗi …
Bối cảnh là strict object mapping với MapStruct trên JDK 25, đảm bảo mỗi khi dữ liệu …
So sánh chi tiết giữa monolithic và microservices vượt qua lý thuyết, bàn về sự phức tạp trong deployment, sự ảnh hưởng của Conway's Law đến ownership team, khó khăn trong debugging và observability, cũng như thách thức về data consistency, performance và scaling. Bài viết chỉ ra monolithic thực sự phù hợp trong những trường hợp nào, khi nào microservices mang lại hiệu quả, và giới thiệu khái niệm "modular monolith" như giải pháp trung gian. Các lỗi phổ biến như resume-driven development hay distributed monoliths được liệt kê kèm framework thực tế để ra quyết định dựa trên team, domain, delivery, operations và scale. Thông điệp chính là chọn architecture dựa trên vấn đề thực tế chứ không phải sự phức tạp giả định.
Bài viết này giúp lập trình viên hiểu rõ sự cân thực giữa kiến trúc microservices và monolithic, tránh những sai lầm phổ biến và đưa ra quyết định kiến trúc phù hợp dựa trên nhu cầu thực tế.
FitNesse là một acceptance testing framework giúp viết test cho ứng dụng Java. Framework này cho phép tạo test case bằng ngôn ngữ tự nhiên (wiki format) mà không cần code, nhưng bên dưới vẫn hỗ trợ kết nối với code thực tế. FitNesse tích hợp tốt với các công cụ build như Maven và CI/CD pipeline. Điểm mạnh của FitNesse là khả năng self-testing và documentation trực tiếp từ test case. Lập trình viên nên cân nhắc FitNesse khi cần test hệ thống phức tạp với yêu cầu nghiệp vụ chi tiết, đặc biệt trong team có cả người không chuyên kỹ thuật.
FitNesse giúp lập trình viên viết test chấp nhận cho ứng dụng Java một cách dễ dàng và hiệu quả.
Bối cảnh là server NVIDIA Triton hỗ trợ nhiều ngôn ngữ lập trình bao gồm Java để triển khai inference. Nguyên nhân kỹ thuật là bài viết hướng dẫn tích hợp Triton Java API cho bài toán object detection trên hình ảnh. Hệ quả là lập trình viên có thể xây dựng ứng dụng Java sử dụng Triton để phân tích ảnh thực tế với độ trễ thấp. Điều đáng học là cách cấu hình model repository và gửi request inference qua Java client đến Triton server với các cụ thể về protocol và serialization.
Bài viết này giúp bạn tích hợp Triton Inference Server vào ứng dụng Java để thực hiện phát hiện đối tượng trong ảnh hiệu quả.
American Express sử dụng kiến trúc cell-based để xử lý giao dịch thanh toán quy mô lớn. Kiến trúc này chia hệ thống thành các cell độc lập, mỗi cell chứa đầy đủ các dịch vụ cần thiết để xử lý một giao dịch. Khi một cell gặp sự cố, các cell khác vẫn có thể tiếp tục hoạt động, đảm bảo hệ thống không bị sập hoàn toàn. Mô hình này giúp American Express đạt độ sẵn sàng cao, với thời gian downtime chỉ vài giây mỗi năm và xử lý hàng triệu giao dịch mỗi ngày. Các lập trình viên học được cách thiết kế hệ thống phân tán có khả năng chịu lỗi bằng cách cô lập sự cố trong một phạm vi nhỏ.
Bài viết này giúp lập trình viên hiểu cách xây dựng hệ thống xử lý giao dịch đáng tin cậy ngay cả khi gặp sự cố.
Bài viết chỉ ra hiện tượng coi số lượng dịch vụ microservices như dấu hiệu của kinh nghiệm cao trong ngành phần mềm. Tac giả lấy ví dụ về một dự án có tới 37 dịch vụ độc lập, mỗi dịch vụ được triển khai trong container và kết nối qua API REST/gRPC. Nguyên nhân kỹ thuật là xu hướng tách hệ thống quá sớm mà không xác định rõ ranh giới nghiệp vụ, dẫn đến sự dư thừa trong quản lý cấu hình, giám sát và truy vết lỗi. Hệ quả là tăngภาระ vận hành, độ trễ giao tiếp giữa dịch vụ và khó duy trì tính nhất quán dữ liệu, khiến đội ngũ tiêu tốn nhiều thời gian cho DevOps thay vì phát triển tính năng. Bài học là trước khi quyết định chuyển sang microservices, cần đánh giá độ phức tạp miền vấn đề, cân nhắc sử dụng monolith mô-đun hoặc các dịch vụ có kích thước vừa phải, và chỉ mở rộng khi có bằng chứng thực tế về nhu cầu mở rộng và đội ngũ có khả năng vận hành.
Bài viết này giúp lập trình viên hiểu rằng kiến trúc microservices không phải là thước đo trình độ kỹ năng hay kinh nghiệm senior thực sự.
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
The ecosystem home: product overviews, blog and full pricing.
ExploreLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmap1,000+ DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeA 22 MB AI IDE for Vietnamese devs.
Download freeOrganizational memory for AI agents.
ExploreAI that staffs your Fanpage and qualifies leads for you.
Try it