Đang tải bảng tin…
Google Cloud0 Hot0 bình luận13 phút đọc
Cross-cloud conversational analytics with borderless Lakehouse
Learn how borderless Lakehouse federates queries across Databricks, Snowflake, and AWS Glue with Apache Iceberg for in-place conversational analytics.
Nguồn: https://cloud.google.com/blog/products/data-analytics/cross-cloud-conversational-analytics-with-borderless-lakehouse. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Hệ sinh thái 8 Sync
Một tài khoản, cả hệ sinh thái
Đọc tin ở đây, luyện code, học theo lộ trình và luyện IELTS trên các sản phẩm anh em — tất cả kết nối với nhau trong hệ sinh thái 8 Sync.
8syncdev.com
8syncdev.comCổng chính của hệ sinh thái: giới thiệu sản phẩm, blog và bảng giá trọn bộ.
Khám pháKhóa học
course.8syncdev.comHọc theo lộ trình rõ từng chặng: video, quiz chấm tự động, certificate và mentor đang làm nghề.
Xem lộ trìnhLuyện code
coding.8syncdev.com1.000 bài DSA, đề tiếng Việt, chấm tự động 7 ngôn ngữ — nhiều bài FREE, chạy ngay trên trình duyệt.
Luyện miễn phíIELTS
ielts.8syncdev.comChấm bốn kỹ năng IELTS bằng AI, phản hồi chi tiết theo rubric.
Dùng thử miễn phíZUS — IDE AI
zus.8syncdev.comAI IDE 22 MB cho dev Việt.
Tải miễn phímind0
mind0.8syncdev.comBộ nhớ tổ chức cho AI agent.
Khám pháAcoLeads
home-acoleads.8syncdev.comAI trực Fanpage, tự sàng lọc lead.
Dùng thửĐề xuất cho bạn
Confessions of a Data Guy15 Hot14 phútAI
Delta Kernel (Rust) and the future of the Lakehouse.
Delta Kernel là thư viện dựa trên Rust từ Databricks và đội ngũ Delta Lake, cung cấp API thống nhất để đọc và ghi vào Delta table. Các công cụ như DuckDB và Polars gặp khó khăn khi theo kịp các thay đổi không tương thích ngược của Delta Protocol như deletion vectors, vấn đề mà Delta Kernel giải quyết. Tác giả xây dựng một CLI nhỏ bằng Rust sử dụng Delta Kernel để nhập CSV vào Delta table trên S3 và xuất Delta table sang Parquet, bao gồm snapshot creation, schema checks, transactions và commits. Delta Kernel được định vị là cơ sở hạ tầng nền tảng, tương tự DataFusion, mà các công cụ khác sẽ ngày càng dựa vào, cùng với các Rust crate mới cho Unity Catalog.
Delta Kernel cung cấp API thống nhất để đọc và ghi Delta tables, giải quyết vấn đề tương thích với các thay đổi protocol như deletion vectors.
Snowflake1 Hot5 phútAI
Introducing Semantic Studio: The Semantic View IDE
Semantic Studio đã chính thức ra mắt, cho phép lập trình viên tạo, debug và triển khai semantic views ngay trong Snowflake Workspaces. Công nghệ tích hợp Snowflake CoCo cùng quản lý phiên bản git và CI/CD trong một môi trường duy nhất giúp tăng hiệu suất làm việc. Việc này giảm thiểu sự phức tạp khi phải chuyển đổi giữa các công cụ khác nhau khi làm việc với dữ liệu có cấu trúc. Đối với các nhà phát triển Snowflake, đây là giải pháp giúp tối ưu hóa quy trình phát triển ứng dụng dữ liệu đáng cân nhắc.
Semantic Studio giúp lập trình viên quản lý và phát triển semantic views trong Snowflake Workspaces với các công cụ hiện đại như CoCo, git versioning và CI/CD.
Cloudflare25 Hot9 phútAI
How fast is the web? Explore billions of real-user measurements with BEACON
Cloudflare vừa công khai bộ dữ liệu BEACON chứa hàng tỷ bản ghi hiệu năng Real User Monitoring (RUM) ẩn danh trên Google BigQuery. Dữ liệu này đo tốc độ thực tế của web dựa trên hàng tỷ điểm đo từ người dùng thật khắp toàn cầu. BEACON cung cấp cái nhìn sâu sắc về hiệu năng trang web ở các khu vực địa lý khác nhau, cho thấy thời gian tải trang trung bình dao động từ 3.2 giây ở châu Âu lên đến 7.5 giây ở châu Phi. Các nhà phát triển có thể truy vấn trực tiếp bộ dữ liệu này để tối ưu hóa hiệu ứng Largest Contentful Paint (LCP) và First Input Delay (FID) của ứng dụng web. Dự án này là nguồn tài liệu tham khảo quý giá để hiểu sự khác biệt hiệu năng giữa các khu vực và cải thiện trải nghiệm người dùng toàn cầu.
Lập trình viên nên đọc bài này để truy cập vào bộ dữ liệu hàng tỷ ghi chú hiệu suất thực tế giúp tối ưu hóa hiệu năng website.
ClickHouse2 Hot9 phútAI
How iSAM Funds built an options research platform for a 10,000x data problem with ClickHouse Cloud
iSAM Funds đối mặt với bài toán xử lý dữ liệu options với quy mô 10,000 lần lớn hơn thông thường. Họ sử dụng ClickHouse Cloud để giải quyết vấn đề này, đạt mức nén dữ liệu 35-50x và tốc độ nhập dữ liệu single-core nhanh hơn 100 lần. Nhờ giải pháp này, họ đã đơn giản hóa đáng kể các pipeline dữ liệu phức tạp. Bài viết cho thấy sức mạnh của ClickHouse trong xử lý dữ liệu tài chính lớn với hiệu suất vượt trội.
Bài viết này giúp lập trình viên hiểu cách ClickHouse Cloud giải quyết bài toán xử lý lượng dữ liệu lớn với hiệu suất vượt trội.
Salesforce Engineering2 Hot9 phútAI
Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day
Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.
Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.
Salesforce Developers Blog2 Hot7 phútAI
Advanced Code Extension PySpark Examples for Batch Data Transforms
Các script batch transform trong Data 360 giúp bạn thực thi logic Python tùy biến để xử lý data lake objects (DLOs) và data model objects (DMOs) trong môi trường tính toán riêng biệt. Bài viết tập trung vào các ví dụ nâng cao sử dụng PySpark cho batch data transforms, cho phép xử lý dữ liệu quy mô lớn với hiệu suất cao. Công nghệ PySpark được tối ưu hóa để chạy trên cluster Apache Spark, giúp tăng tốc độ xử lý dữ liệu lớn lên đến 10-100 lần so với xử lý tuần tự thông thường. Các kỹ sư có thể học hỏi cách kết hợp PySpark với Data 360 API để tạo pipeline xử lý dữ liệu phức tạp, đặc biệt hữu ích khi cần xử lý dữ liệu không cấu trúc hoặc thực hiện các phép toán toán học phức tạp trên dữ liệu lớn.
Các lập trình viên nên đọc bài này để học hỏi các ví dụ script nâng cao giúp tối ưu hóa việc biến đổi dữ liệu hàng loạt bằng PySpark trong Data 360.
Crunchy Data38 Hot17 phútAI
Postgres 19: How Our Advice Has Changed Since...
Bài viết đánh giá lại những lời khuyên trước đây về các tính năng như COPY, TOAST, BRIN, covering indexes và partitioning trong PostgreSQL, xem xét những thay đổi từ các phiên bản Postgres gần đây và đưa ra khuyến nghị cho phiên bản sắp tới (Postgres 19).
Một lập trình viên nên đọc bài này để cập nhật cách tối ưu hóa cơ sở dữ liệu PostgreSQL 19 mới nhất, đặc biệt là về các kỹ thuật như COPY, TOAST, BRIN, và cách sử dụng các chỉ mục bù và phân vùng hiệu quả, giúp cải thiện hiệu suất và quản lý tài nguyên trong ứng dụng hiện đại.
Planet PostgreSQL1 Hot14 phútAI
The International Ice Patrol
The International Ice Patrol so sánh bốn hệ thống PostgreSQL truy vấn dữ liệu Apache Iceberg/Parquet, bao gồm aurora_analytics của AWS Aurora, pg_lake của Snowflake, ColdFront của pgEdge, và pg_clickhouse FDW của ClickHouse. Aurora nhúng DuckDB vào cùng tiến trình với pushdown đầy phần hoặc tùy thuộc vào biểu thức không được hỗ trợ, trong khi pg_lake chạy DuckDB tiến trình riêng và hỗ trợ ghi ACID đầy đủ nhưng rơi lại planner PostgreSQL với thống kê kém cho các heap joins. ColdFront sử dụng pg_duckdb cho tự động phân tầng hot/cold qua view với việc takeover toàn bộ kế hoạch nhưng vẫn ở beta, còn pg_clickhouse là FDW tiêu chuẩn không hỗ trợ Iceberg gốc và gặp vấn đề về ước tính cardinality. Nên dùng EXPLAIN (VERBOSE) để xác minh planner thực thi join, và mỗi công cụ phù hợp với trường hợp sử dụng cụ thể do cách planner và pushdown khác nhau.
Bài viết này giúp lập trình viên hiểu rõ cách các hệ thống tương thích PostgreSQL truy vấn dữ liệu Iceberg/Parquet và chọn công cụ phù hợp cho nhu cầu cụ thể của họ.
Bình luận
Đang tải bình luận…