Đang tải bảng tin…
Groww Engineering0 Hot0 bình luận13 phút đọc
Realtime Feature Computation on Spark Structured Streaming
Explore real-time feature store architecture, including Spark Structured Streaming, Kafka, state management, checkpointing, and scalable data processing.
Nguồn: https://tech.groww.in/realtime-feature-computation-on-spark-structured-streaming-9690fd8ea074. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Hệ sinh thái 8 Sync
Một tài khoản, cả hệ sinh thái
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
8syncdev.com
8syncdev.comCổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháKhóa học
course.8syncdev.comHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trìnhLuyện code
coding.8syncdev.com1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíIELTS
ielts.8syncdev.comChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíZUS — IDE AI
zus.8syncdev.comAI IDE 22 MB cho dev Việt.
Tải miễn phímind0
mind0.8syncdev.comBộ nhớ tổ chức cho AI agent.
Khám pháAcoLeads
home-acoleads.8syncdev.comAI trực Fanpage, tự sàng lọc lead.
Dùng thửĐề xuất cho bạn
CodeOpinion133 Hot10 phútAI
5 Event Driven Architecture Problems (And How to Avoid Them)
Event-driven architecture (EDA) phổ biến nhưng tiềm nhiều thách thức trong production environment. Vấn đề truy xuất lỗi (tracing) trở nên phức tạp khi sự kiện (event) đi qua nhiều service khác nhau, đòi hỏi hệ thống phân tích log tập trung như ELK stack. Hàng đợi tin hỏi (dead letter queues) dễ bị đầy nếu không implement validation logic kỹ càng, dẫn đến mất dữ kiện quan trọng. Sự không nhất quán cuối cùng (eventual consistency) gây race condition khi nhiều consumer xử lý cùng event đồng thời. Các EDA system cần thiết kế event schema versioning và comprehensive testing framework với Contract Testing để đảm bảo reliability khi số lượng service tăng lên.
Bài viết này giúp lập trình viên nhận diện và giải quyết các vấn đề phổ biến trong kiến trúc hướng sự kiện như tracing, dead letter queues, tính nhất quán cuối cùng và testing.
SitePoint113 Hot9 phútAI
**Data-Driven vs Event-Driven Architecture: How to Pick the Right One**
Data-driven architecture tập trung vào nguồn dữ liệu chung (database, data warehouse) mà các service truy vấn, trong khi event-driven dựa trên message broadcast khi có sự kiện, được các service độc lập tiêu thụ. Data-driven coupling chặt hơn trong khi event-driven cho phép loose coupling nhưng tăng độ phức tạp hệ thống khi số lượng events lớn. Data-driven phù hợp cho analytics, ML và ứng dụng đơn giản, còn event-driven tối ưu cho features thời gian thực, microservices và scaling không đồng đều. Hai phương pháp này thực chất bổ trợ chứ không cạnh tranh nhau - câu hỏi quyết định nên bắt đầu đơn giản và chỉ thêm events khi thực sự cần thiết.
Bài viết này giúp lập trình viên lựa chọn kiến trúc phù hợp giữa data-driven và event-driven dựa trên nhu cầu cụ thể của dự án.
Grafana Labs37 Hot17 phútAI
Tempo 3.1 release: new features for Kafka, TraceQL metrics updates, trace redaction, and more
Tempo 3.1 mang đến những cải thiện đáng kể cho Kafka client, giúp tăng hiệu suất và ổn định khi xử lý tracing data. Phiên bản này cũng bổ sung các tính năng mới cho TraceQL metrics, cho phép truy vấn và phân tích dữ liệu đo lường chi tiết hơn. Hệ quả là người dùng có thể vận hành Tempo dễ dàng hơn và khai thác thông tin sâu sắc từ tracing data. Đặc biệt, tính năng trace redaction giúp bảo mật dữ liệu nhạy cảm bằng cách tự động loại bỏ thông tin quan trọng trước khi lưu trữ.
Tempo 3.1 mang lại nhiều cải tiến quan trọng giúp lập trình viên dễ dàng vận hành và phân tích dữ liệu tracing hiệu quả hơn.
SoftwareMill23 Hot12 phútAI
Reliable Message Delivery: the Transactional Outbox Pattern With Okapi
Giải quyết vấn đề ghi kép (dual-write) trong ứng dụng Kotlin & Spring Boot bằng cách triển khai mẫu Transactional Outbox với Okapi, hỗ trợ Postgres, MySQL, Kafka và HTTP.
Lập trình viên cần đọc bài này để giải quyết vấn đề đồng thời ghi dữ liệu vào cơ sở dữ liệu và hệ thống message queue một cách đáng tin cậy trong ứng dụng Kotlin-Spring Boot, tránh rủi ro mất dữ liệu do lỗi đồng thời.
Grafana Labs44 Hot13 phútAI
Tempo 3.0 release: a new architecture for scale and lower TCO, TraceQL metrics GA, and more
Tempo 3.0, phiên bản mới của hệ thống truy vết phân tán mã nguồn mở, giới thiệu kiến trúc tương thích Kafka cho microservices, tách biệt đường đọc-ghi, giảm yêu cầu sao chép RF3 xuống RF1, và thay thế ingesters/compactors bằng block-builders, live-stores cùng scheduler. Tính năng TraceQL metrics giờ đã sẵn sàng, hỗ trợ truy vấn metric trực tiếp từ trace data cùng toán tử so sánh mới, cùng nhiều cải tiến khác như giới hạn cardinality theo label, tối ưu truy vấn TraceQL AST, và công cụ di chuyển từ phiên bản 2.x.
Lập trình viên phát triển ứng dụng microservices nên đọc vì Tempo 3.0 mang đến kiến trúc Kafka-compatible cải tiến, giúp tối ưu hóa quy mô, giảm chi phí vận hành và cung cấp công cụ TraceQL mạnh mẽ để phân tích hiệu suất trực tiếp từ dữ liệu theo dõi phân tán.
Medium1 Hot5 phútAI
Three Layers Deep: Getting Confluent Schema Registry to Authenticate with MSK Serverless on EKS
Bối cảnh bài viết hướng dẫn tích hợp Confluent Schema Registry với MSK Serverless trên EKS. Nguyên nhân kỹ thuật chính là yêu cầu xác thực 3 lớp giữa Schema Registry, MSK Serverless và EKS. Hệ quả nếu không giải quyết đúng sẽ gây ra lỗi xác thực và không thể kết nối. Điều đáng học là bài viết cung cấp cấu hình cụ thể với IAM Roles for Service Accounts (IRSA) để quản lý quyền truy cập. Con số cụ thể là cấu hình IAM policy với các action như "kms:Decrypt" và "ssm:GetParameter" để giải mã các thông tin bí mật.
Bài hướng dẫn này giải quyết bài toán bảo mật phức tạp khi kết nối Schema Registry với MSK Serverless trên EKS thông qua cơ chế xác thực đa lớp.
Planet PostgreSQL0 Hot8 phútAI
PgQ and PgQue: Workflow Engines you might need in PostgreSQL
PgQue là một reimplement hiện đại, dependency-free của framework queue PgQ cũ, cho phép xây dựng workflow engines và event-driven pipelines mà không cần Kafka. Khác với các queue SQL đơn giản gây bloat bảng qua việc tracking status bằng UPDATE, PgQue sử dụng append-only log với snapshot-based batching, tick generation và per-consumer cursors để tránh vấn đề này. PgQue bổ sung semantics Kafka thiếu như per-consumer redelivery, built-in dead-letter queue và competing-consumer support, nhưng không có partitions và dùng tick time-based thay vì message offsets. Có client libraries cho Python, Go, TypeScript và Ruby, bài viết hướng dẫn cách publish, receive, ack, nack events, configure retry thresholds và DLQ behavior.
PgQue giúp xây dựng workflow engine và event-driven pipeline trên PostgreSQL mà không cần Kafka, hiệu quả hơn nhờ append-only log và tránh được table bloat.
Awesome Java Newsletter0 Hot10 phútAI
Building Security-monitoring in Finovara
Finovara đang xây dựng một Risk Engine bằng Java để giám sát bảo mật trong ngành tài chính. Hệ thống được đào tạo để xác định các trường hợp xác thực người dùng đáng ngờ qua API. Mô hình sử dụng các thuật toán machine learning phân tích hành vi người dùng trong thời gian thực. Điều này giúp phát hiện 85% các cuộc tấn công brute-force và 70% gian lận tài khoản sớm. Các lập trình viên có thể học cách tích hợp xác thực đa yếu tố với hệ thống hiện có để tăng cường bảo mật.
Bài viết này giúp lập trình viên xây dựng hệ thống giám bảo mật hiệu quả trong lĩnh vực tài chính bằng cách phát triển Risk Engine với Java và API.
Bình luận
Đang tải bình luận…