Bài viết giải thích tại sao việc duy trì bảng Apache Iceberg là cần thiết để tránh suy giảm hiệu suất và lãng phí lưu trữ khi dữ liệu tăng trưởng. Nguyên nhân kỹ thuật chủ yếu là sự tích tụ của nhiều file Parquet nhỏ, các snapshot cũ không được xoá và metadata JSON lớn lên do mỗi lần ghi tạo ra bản ghi mới. Hệ quả là thời gian truy vấn tăng vì planner phải quét nhiều file hơn, đồng thời dung lượng storage tăng đáng kể do các file mồ côi (orphan files) và metadata dư thừa. Bài hướng dẫn cụ thể các quy trình bảo trì như gọi CALL system.rewrite_data_files để nén file nhỏ, CALL system.expire_snapshots để xoá snapshot cũ (mặc định giữ 5 ngày) và CALL system.remove_orphan_files để dọn dong file không còn được tham chiếu. Điều đáng học là nên lên lịch chạy các thủ tục này định kỳ, theo dõi kích thước metadata và số lượng file qua bảng hệ thống iceberg.snapshots và iceberg.files để cân bằng giữa chi phí lưu trữ và hiệu suất truy vấn.
Why read it: Bài viết này giúp lập trình viên hiểu rõ cách tối ưu hóa hiệu suất và quản lý tài nguyên hiệu quả khi làm việc với Apache Iceberg Tables.
Answer 3 short questions to earn reward points for this article. Only do it if you want the points.
3 questions · under a minute · optional
Source: https://itnext.io/maintaining-apache-iceberg-tables-compaction-snapshots-metadata-and-orphan-files-5522847cbc6b. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.
Đang tải bình luận…
Bài viết giải thích thiết kế hệ thống từ đơn giản (máy chủ đơn) đến phức tạp (hàng triệu người dùng), bao gồm API, cơ sở dữ liệu, caching, CDN, load balancing và hạ tầng sản xuất.
Bài viết giúp bạn hiểu rõ cách xây dựng cơ sở hạ tầng thực tế từ những nguyên tắc cơ bản nhất, từ đó tránh những sai lầm thường gặp khi mở rộng hệ thống khi còn mới mẻ.
Bài viết bắt đầu từ việc nhóm gRPC‑Rust vừa hoàn thành bản preview phía client, đánh dấu bước đầu tiên trong việc đưa gRPC vào hệ sinh thái Rust sau hơn một năm phát triển. Nguyên nhân kỹ thuật được nêu là việc triển khai đầy đủ các tính năng HTTP/2 và mã hóa TLS dựa trên thư viện hyper và tokio, đồng thời hoàn thiện bộ tạo mã prost để hỗ trợ dịch vụ protobuf. Hệ quả của bước này là các nhà phát triển Rust có thể ngay lập tức sử dụng gRPC để xây dựng ứng dụng client hiệu suất cao mà không cần phụ thuộc vào các binding C, giảm thiểu độ trễ và tăng tính an toàn bộ nhớ. Điều đáng học từ roadmap là việc tách biệt rõ ràng giữa client và server trong kế hoạch phát hành giúp tập trung資源 vào từng lớp giao thức, đồng thời minh họa lợi thế của việc dựa vào hệ thống async/await của Rust để mở rộng khả năng xử lý song song. Cuối cùng, bài viết khẳng định rằng mục tiêu tiếp theo là đưa ra bản ổn định phía server trong quý 3/2024, kèm theo hỗ trợ cân bằng tải và tích hợp với các framework web như Actix và Warp.
Bài này cung cấp lộ trình phát triển tiếp theo của gRPC-Rust giúp lập trình viên nắm định hướng công nghệ và lên kế hoạch phát triển hệ thống hiệu quả.
ORMs vẫn cần thiết vì chúng cung cấp lớp trừu tượng an toàn, hiệu quả để tương tác với cơ sở dữ liệu, trong khi LLMs chỉ sinh code tiềm ẩn rủi ro lỗi, kém tối ưu và khó bảo trì. ORMs giúp chuẩn hóa truy vấn, tránh SQL injection và tối ưu hóa hiệu suất thông qua caching, điều mà code do LLM sinh ra khó đảm bảo.
Lập trình viên nên đọc bài này để hiểu cách ORM và SQL vẫn giữ vai trò quan trọng trong quản lý dữ liệu cơ bản, giúp tránh rủi ro lỗi và tối ưu hóa hiệu suất khi ứng dụng lớn cần kiểm soát trực tiếp dữ liệu.
Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN …
DuckDB phiên bản 2.0 dự kiến ra mắt vào mùa thu năm nay với nhiều tính năng mới nổi bật …
Chuyển từ REST sang gRPC vì hiệu năng, nhưng sau đó phải mất một năm khắc phục những vấn đề vốn dễ dàng trước đây. Sau hai năm vận hành song song, tác giả nhận ra sự đánh đổi thực sự giữa hai công nghệ này.
Đọc bài này để hiểu rõ những nhược điểm không ngờ khi chuyển từ REST sang gRPC, giúp bạn tránh những quyết định kỹ thuật không cân bằng giữa hiệu suất và sự phức tạp thực tế trong dự án thực tế.
Protobuf-ES là thư viện JavaScript/TypeScript dùng để làm việc với Protocol Buffers, thường được tích hợp vào các dự án frontend và Node. Phiên bản v2.14 đã tối ưu hóa đường đi mã hoá và giải mã bằng cách sử dụng các hàm nội tuyến và cấu trúc dữ liệu tĩnh hơn, giảm thiểu việc cấp phát bộ nhớ trung gian. Khi serialize, tốc độ tăng lên tới 5 lần; khi parse, tăng lên tới 2 lần so với phiên bản trước, mà không cần thay đổi API hoặc thêm tùy chọn biên dịch. Cập nhật gói đơn giản (npm update protobuf-es) có thể mang lại cải thiện hiệu năng đáng kể mà không ảnh hưởng tới mã nguồn hiện tại. Điều này nhắc nhở các lập trình viên nên theo dõi phiên bản thư viện và áp dụng bản vá hiệu năng khi có sẵn.
Protobuf-ES vừa được cập nhật với hiệu suất tăng gấp 5 lần khi serialize và gấp 2 lần khi parse, giúp mã của bạn chạy nhanh hơn mà không cần thay đổi API.
APIs ngày nay quan trọng gấp 100 lần so với 5 năm trước nhưng vẫn bị coi nhẹ, bởi chúng hoạt động âm thầm như hệ thống ống nước cho đến khi xảy ra sự cố.
Lập trình viên nên đọc bài này để hiểu cách API không chỉ là công cụ cơ bản mà còn là cầu nối quyết định tốc độ phát triển ứng dụng, bảo mật và khả năng mở rộng hệ thống hiện đại.
Read the news here, practice coding, follow structured courses and train for IELTS on our sibling products — all connected through one 8 Sync account.
The ecosystem home: product overviews, blog and full pricing.
ExploreLearn along a clear roadmap: videos, auto-graded quizzes, certificates and mentors who ship for a living.
View the roadmap1,000+ DSA problems in Vietnamese, auto-graded across 7 languages — many FREE, right in your browser.
Practice for freeAI grading for all four IELTS skills with detailed rubric feedback.
Try it freeA 22 MB AI IDE for Vietnamese devs.
Download freeOrganizational memory for AI agents.
ExploreAI that staffs your Fanpage and qualifies leads for you.
Try it