Lightweight deletes for Tinybird Data Sources now in Beta

Tinybird is launching a beta for lightweight deletes on Data Sources via a new API endpoint (POST /v1/datasources/{name}/delete). Unlike the old heavy mutation approach that rewrites disk parts, the new method uses ClickHouse's native lightweight DELETE, which materializes a hidden _row_exists mask instead of copying data. This makes deletes complete in milliseconds to seconds rather than minutes or hours. The endpoint supports both synchronous and asynchronous modes, an optional partition-scoping parameter, and is useful for GDPR right-to-be-forgotten requests, removing bad ingest data, and partition-scoped cleanups.

Nguồn: https://www.tinybird.co/blog/lightweight-deletes. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

gitconnected2 Hot6 phút7 giờ trướcAI

Weather Analytics Made Simple with Airflow, PostgreSQL, and Metabase

Bài viết hướng dẫn xây dựng pipeline dữ liệu thời tiết toàn diện bằng các công cụ mã nguồn mở: Airflow điều phối, PostgreSQL lưu trữ, Metabase tạo dashboard BI, tất cả chạy trên Docker. Dữ liệu được thu thập mỗi giờ từ WeatherAPI cho các thủ phủ bang Brazil, xử lý qua DAG nhiều tầng của Airflow, rồi hiển thị dưới dạng dashboard thời tiết hiện tại, lịch sử và dự báo trên Metabase.

Lập trình viên muốn tự động hóa và tích hợp các công cụ phân tích dữ liệu từ API đến báo cáo trực quan sẽ tìm hiểu cách xây dựng một pipeline hoàn chỉnh với Airflow, PostgreSQL và Metabase để tối ưu hóa quy trình xử lý và chia sẻ thông tin thời tiết hiệu quả.