Apache Polaris with Apache Flink: A Guide

DuckDB Just Put a $400K/Year Skill on Your Laptop

Bối cảnh: Khi các stack dữ liệu hiện đại như Iceberg + dbt thường đòi hỏi chi phí đám mây hàng chục nghìn đô mỗi năm, nhiều lập trình viên tìm cách luyện tập mà không tốn tiền. Nguyên nhân kỹ thuật: DuckDB là một hệ quản trị cơ sở dữ liệu OLAP trong tiến trình, vừa hỗ trợ đọc ghi bảng Apache Iceberg qua extension, vừa có thể chạy dbt Core như một plugin local. Hệ quả: Nhờ đó, một máy laptop có thể mô phỏng toàn bộ pipeline lakehouse – từ ingest, transform cho tới test – mà không cần tài khoản AWS, Azure hoặc GCP, từ đó giảm chi phí thực hành xuống gần zero. Điều đáng học: Khi thành thạo việc kết hợp DuckDB, Iceberg extension và dbt locally, bạn đã nắm được kỹ năng mà các công ty trả lương hàng năm lên tới 400.000 USD cho vị trí Data Engineer, mà không phải đầu tư vào dịch vụ đám mây. Bài viết khuyên bạn nên cài đặt DuckDB, thêm extension iceberg và khởi dbt dự án mẫu để bắt đầu thực hành ngay hôm nay.

DuckDB cho phép bạn thực hành stack data engineering trị giá 400K USD ngay trên laptop mà không cần chi phí cloud.

Observe on Apache Iceberg: Unlocking Open Observability

Snowflake giới thiệu Observe trên Apache Iceberg ở chế độ private preview, cho phép lưu trữ telemetry dưới dạng bảng Iceberg mở trong S3 riêng, truy vấn được bởi bất kỳ engine nào.

Lập trình viên muốn tối ưu hóa quản lý dữ liệu và phát triển ứng dụng theo tiêu chuẩn mở sẽ tìm hiểu Apache Iceberg để khám phá cách lưu trữ và truy vấn dữ liệu hiệu quả hơn với Snowflake, giúp tiết kiệm chi phí và mở rộng khả năng tích hợp với các công cụ khác.

Infrastructure efficiency: How a classic math problem helped reduced our capacity buffers

LinkedIn engineers explain how they applied the newsvendor problem, a classic inventory-management model, to right-size capacity buffers for their private cloud infrastructure. By combining demand forecasting, signal cleaning, and multi-plexing of headroom and overhead buffers, they achieved an 8.5% reduction in required capacity buffers for their stream-processing platform, without sacrificing reliability. The approach separates organic demand variability from planned step-changes, accounts for lead-time volatility in a private cloud (versus public cloud elasticity), and treats infrastructure capacity like a supply chain problem. The methodology is now being extended across LinkedIn's broader infrastructure ecosystem.

DuckLake: The Lakehouse That's Just SQL and Parquet

How many files does your query read before it reads any data? On some data lakes, you go through JSON and metadata files first, just to learn which Parquet files matter. DuckLake asks one SQL question instead. The metadata lives in a ...

Data Lakehouse vs Medallion Architecture

A lakehouse is an architecture and medallion is a layering convention, so they do not compete. The real question is how many layers deserve a physical copy.

Borderless Lakehouse cross-cloud caching and connections

In the borderless Lakehouse, cross-cloud caching reduces data transfers, and BigQuery cross-cloud connections enables querying data in other clouds.

AWS Weekly Roundup: Price reduction of GPT models in Bedrock, CloudWatch managed collectors for Prometheus metrics, and more (August 3, 2026)

Bản tin AWS tuần (3/8/2026) tổng hợp các ra mắt chính từ cuối tháng 7/ đầu tháng 8/2026. Amazon Bedrock giảm giá tới 80% cho mô hình OpenAI GPT‑5.6 (Luna và Terra), Luna hiện chỉ $0,20/tr triệu token đầu vào; đồng thời CloudWatch ra mắt bộ thu thập Prometheus hoàn toàn quản lý cho EKS, EC2, ECS, MSK và OpenSearch, loại bỏ cần tự chạy scraper. Giảm chi phí chạy LLM và giảm công việc vận hành giám sát metrics, cùng với AWS Interconnect cho OCI đạt GA cung cấp kết nối riêng giữa hai đám mây và IAM Identity Center mở rộng hỗ trợ đa khu vực tăng khả năng phục hồi, giúp hệ thống ổn định hơn. S3 Tables giờ hỗ trợ kiểu dữ liệu Variant trong Iceberg V3, đơn hoá việc lưu trữ và truy vấn dữ liệu pół‑cấu trúc trong data lake. Những cập nhật này cho thấy việc sử dụng dịch vụ hoàn toàn quản lý, mô hình giá tốt và kết nối riêng giữa đám mây cùng IAM đa khu vực giúp tối ưu chi phí, giảm độ phức tạp kiến trúc và tăng khả năng chịu lỗi, cho phép đội ngũ tập trung hơn vào logic kinh doanh thay vì quản lý hạ tầng.

Bài viết cung cấp cập nhật quan trọng về các thay đổi giá cả, dịch vụ mới và tính năng hữu ích giúp tối ưu chi phí và quản lý đa nền tảng trên AWS.