Graphiant Named Confluent 2027 Data Streaming Startup of the Year

Your Business, Always Current. Streamhouse - The Data Architecture for the Age of AI.

To make accurate decisions at machine speed, we need to maintain the state of the business as it changes. It needs to be always current, decentralized across systems that already run the business, and dependable for software to act on it. The architecture that makes this possible is the Streamhouse.

MQTT Doesn't Have Message Queues. Inside the 2-Byte Protocol Powering Modern IoT.

A visual, 10-minute architectural deep dive into MQTT. Learn how the 2-byte binary wire protocol, QoS 0/1/2 handshakes, topic trees, Last Will and Testament, and MQTT v5 Shared Subscriptions actually deliver IoT telemetry under the hood. Tagged with iot, networking, architecture, mqtt.

Cloudflare K2 Builds Event Streams on R2 Object Storage, at a Second of Produce Latency

Cloudflare vừa ra mắt K2 trong giai đoạn beta công khai, đây là dịch vụ streaming sự kiện serverless triển khai trên R2 object storage. Dịch vụ đạt độ trễ (latency) khi tạo sự kiện khoảng 1 giây ở mức p99. K2 sử dụng một kiến trúc log bền vững dựa trên R2 object storage, giúp giảm đáng kể độ trễ so với các giải pháp truyền thống. Hệ thống này cho phép developers xây dựng ứng dụng xử lý sự kiện với hiệu năng cao và chi phí hợp lý. Bài viết cung cấp cái nhìn chi tiết về cách K2 tối ưu hóa hiệu suất trên nền tảng lưu trữ object thông thường.

Cloudflare K2 mang đến dịch vụ streaming event với độ trễ chỉ một giây, tối ưu hóa hiệu suất cho nhà phát triển.

Apache Flink CDC 3.7.0 Release Announcement

Phiên bản Flink CDC 3.7.0 giới thiệu xử lý dữ liệu dựa trên AI với API mô hình có thể cắm thêm, client mô hình tương thích OpenAI và các hàm văn bản, đa phương thức tích hợp sẵn. Bản cập nhật này cũng bổ trợ inline Python UDF, các connector nguồn mới cho SQL Server và Fluss Pipeline, cùng với cơ chế xử lý schema an toàn hơn cho các bảng sink. Việc cải tiến pipeline configuration và routing cũng được thực hiện, cùng với các bản sửa lỗi tăng độ ổn định cho nhiều connector khác nhau. Đây là phiên bản đáng chú ý nếu bạn đang tìm kiếm tích hợp AI vào pipeline dữ liệu hoặc cần các tính năng xử lý dữ liệu mới.

Lập trình viên nên đọc bài này để cập nhật những tính năng mới như AI xử lý dữ liệu và cải tiến kết nối trong Flink CDC 3.7.0.

From Kafka Dependency to Direct Ingestion: A Production Architecture with Snowpipe Streaming Elastic Channels

Công ty đang phụ thuộc vào Kafka làm message bus trung gian khi xử lý dữ liệu streaming với 1,010 message mỗi giây. Nhóm đã thay thế bằng Snowpipe Streaming Elastic Channels của Snowflake, giảm độ phức tạp hệ thống đáng kể. Giải pháp mới chỉ cần ba dòng SDK code để kết nối trực tiếp từ nguồn dữ liệu vào Snowflake mà không cần qua broker trung gian. Kiến trúc này giúp giảm latency và cải thiện throughput cho hệ thống data pipeline. Lập trình viên nên học cách tối ưu hóa data ingestion bằng cách loại bỏ các lớp trung gian không cần thiết trong kiến trúc streaming.

Bài viết này cho thấy cách loại bỏ phụ thuộc vào Kafka bằng cách triển khai Snowpipe Streaming Elastic Channels để tối ưu hóa kiến trúc xử lý dữ liệu.

A Tale of Two Houses: A Comparison Between Streamhouse and Lakehouse

The Streamhouse sits between the operational and analytical estates, addressing the inefficiencies inherent in each. In this post, we will compare the Streamhouse to the lakehouse: what each one does, where they differ and how they complement each other.

Neo4j Connector for Apache Kafka and Confluent v6

Neo4j Connector for Apache Kafka and Confluent v6 Simpler, more reliable and secure. Neo4j Connector for Apache Kafka and Confluent v6 is out. It’s simpler to configure, more reliable and more …

Amazon MSK Replicator is now available in AWS GovCloud (US-East, US-West) Regions

Discover more about what's new at AWS with Amazon MSK Replicator is now available in AWS GovCloud (US-East, US-West) Regions