ZeroFS vs. Amazon S3 Files

Amazon S3 Vectors is now available in AWS GovCloud (US) Regions

Amazon S3 Vectors, AWS's purpose-built vector storage service for AI agents, RAG, and semantic search at billion-vector scale, is now available in AWS GovCloud (US-East) and AWS GovCloud (US-West) regions. The service offers S3-level elasticity, durability, and availability with dedicated APIs for storing, accessing, and querying vectors without infrastructure provisioning.

AWS Introduces Amazon S3 Annotations

AWS giới thiệu Amazon S3 Annotations, cho phép gắn metadata phong phú, có thể sửa đổi và truy vấn trực tiếp vào các đối tượng S3. Khác với S3 tags (giới hạn 10) hay metadata do người dùng định nghĩa (tối đa 2 KB), annotations hỗ trợ tới 1.000 mục/kết hợp dung lượng 1 GB, viết bằng JSON, XML hoặc YAML, có thể cập nhật độc lập và tự động lập chỉ mục vào Apache Iceberg qua S3 Metadata, truy vấn được qua Athena, Redshift hoặc các công cụ tương thích Iceberg.

Là một lập trình viên làm việc với dữ liệu trên AWS, bạn nên đọc bài này để khám phá cách S3 Annotations mở rộng khả năng lưu trữ và truy vấn metadata phức tạp hơn so với tags truyền thống, giúp tối ưu hóa các ứng dụng xử lý lớn như AI, phân tích dữ liệu và quản lý tuân thủ hiệu quả.

pg-cdc Frustratingly simple Postgres change data capture to AWS S3

pg-cdc is an open source tool that streams Postgres Write Ahead Logs (WAL) into typed, immutable Apache Iceberg tables on AWS S3. It registers entities in the AWS Glue Catalog and gates all reads via AWS Lake Formation tags, enabling AI agents, analysts, and query engines to consume governed data without database credentials or a JVM. Key properties include one-way data flow (no write-back risk), IAM-based authentication, column-level access control, and built-in time travel via Iceberg snapshots.

Introducing Flink's Native S3 FileSystem: Built for Performance, Designed for Production

Apache Flink 2.3 ra mắt flink-s3-fs-native, một plugin filesystem S3 không phụ thuộc Hadoop, sử dụng AWS SDK v2. Plugin mới này cải thiện hiệu suất với thời gian checkpoint trung bình nhanh hơn 1,85 lần và throughput cao hơn 2,17 lần so với Presto plugin, đồng thời giảm kích thước JAR xuống còn ~13 MB. Người dùng chỉ cần thay thế JAR và cập nhật cấu hình mà không ảnh hưởng đến các checkpoint hiện có.

Nếu bạn đang phát triển ứng dụng xử lý dữ liệu lớn trên S3 với Flink và muốn tối ưu hiệu suất, giảm chi phí bộ nhớ và tránh rủi ro bảo mật từ các phiên bản cũ của AWS SDK, flink-s3-fs-native sẽ là giải pháp tối ưu mới nhất để nâng cấp công nghệ của bạn.

Apache Flink 2.3.0 Release Announcement

Apache Flink 2.3.0 is now available, implementing 15 FLIPs with major improvements across SQL, connectors, and runtime. New SQL operators FROM_CHANGELOG and TO_CHANGELOG bridge append-only and dynamic changelog tables. Materialized tables gain DDL parity with regular tables and fine-grained refresh control via a new START_MODE clause. The SinkUpsertMaterializer is reworked with an explicit ON CONFLICT clause and watermark-based compaction to reduce state size. A new native S3 filesystem plugin built on AWS SDK v2 replaces Hadoop/Presto-based connectors with non-blocking I/O and zero Hadoop dependencies. Runtime improvements include adaptive partition selection for backpressure handling, watermark alignment redesign for faster backlog processing, checkpointing during recovery from unaligned checkpoints, and application-level lifecycle management with a new Web UI Applications tab.

Amazon S3 server access logs now deliver to Amazon CloudWatch Logs and Amazon S3 Tables

Amazon S3 now supports delivering server access logs to two new destinations: Amazon CloudWatch Logs and Amazon S3 Tables. CloudWatch Logs delivery enables instant querying, alarms, cross-account and cross-Region aggregation, and KMS encryption. S3 Tables mirroring stores logs in Apache Iceberg format at no additional storage cost, making them immediately queryable via SQL in Athena, Redshift, and other Iceberg-compatible engines. These options complement the existing free delivery to S3 general purpose buckets. The feature is available in all AWS Regions except China and GovCloud.