#apache-spark

How Uber Built a Genie to Answer Questions Correctly

Uber xây dựng Genie để xử lý câu hỏi của tài xế và hành khách. Hệ thống sử dụng Elasticsearch để tìm kiếm kiến thức từ 1.5 triệu tài liệu và kết nối với 60 service backend khác nhau. Phần xử lý ngôn ngữ tự nhiên (NLP) giúp Genie hiểu ngữ cảnh và trích xuất thông tin chính xác. Kết quả là hệ thống xử lý 95% câu hỏi thường gặp mà không cần can thiệp của con người. Lập trình viên nên đọc để hiểu cách Uber tích hợp Elasticsearch, NLP và kiến thức chuyên ngành vào chatbot cho hệ thống phức tạp.

Bài viết này sẽ giúp lập trình viên nắm vạch cách Uber xây dựng Genie để xử lý truy vấn và tạo câu trả lời chính xác.

Built for Agents: The Case for Spark Declarative Pipelines

Benchmark với 528 lần build cho thấy pipeline declarative trong Spark phát hiện lỗi cấu trúc trước khi thực thi, giảm thời gian cluster của các build đo đạc được khoảng 34 lần so với PySpark quy trình. Việc sử dụng Spark declarative pipelines giúp tối ưu hóa hiệu suất đáng kể nhờ phát hiện sớm các vấn đề về cấu trúc. Ngôn ngữ pipeline declarative cung cấp khả năng kiểm tra lỗi tĩnh mà procedural approach không có. Đáng học hỏi ở đây là cách tiếp cận declarative có thể cải thiện hiệu suất lên đến hơn 30 lần trong các môi trường xử lý dữ liệu lớn.

Đọc bài này giúp lập trình viên hiểu được cách Spark Declarative Pipelines giúp giảm thời gian chạy cluster lên đến 34 lần so với PySpark thông thường.

Apache Spark Resource Optimization: Lessons From Eight Million Jobs a Day

Đối mặt với khối lượng 8 triệu job mỗi ngày, team Spark đã triển khai execution telemetry để giám sát tài nguyên hệ thống. Phân tích dữ liệu telemetry giúp phát hiện hiệu quả các executor idle chiếm tới 30% tổng tài nguyên phân bổ. Việc tối ưu hóa này giảm đáng kể chi phí compute trong khi vẫn đảm bảo performance và reliability của hệ thống. Các bài học rút ra có thể áp dụng để tối ưu hóa cluster resource allocation trong các môi trường production sử dụng Spark.

Bài viết này giúp lập trình viên tối ưu hóa tài nguyên Apache Spark bằng cách chẩn đoán executor rảnh và giảm chi phí tính toán dựa trên dữ liệu từ tám triệu job mỗi ngày.

Yet Another AI Security OSS Externality

Một release manager của Apache Spark phản ánh về tình trạng báo cáo bảo mật và pull request do AI tạo ra đang quá tải băng thông cho người dự án OSS. Vòng phát hành Spark 3.5.9, 4.0.4 và 4.1.3 cho thấy vấn đề khi nhóm lab AI công bố lỗ hổng bảo mật với hạn 90 ngày không thông báo kịp thời, gây áp lực tìm người review bản vá phức tạp trước khi biểu quyết. AI đã làm tăng lượng báo bảo mật đáng kể (khoảng 30 báo cáo chỉ trong một tuần trước release candidate), vượt quá khả năng xử lý của đội ngũ. Các chương trình truy cập miễn phí từ lab như Anthropic vẫn chưa thực tế cho công việc bảo mật thực tế, đòi hỏi các lab AI cải thiện truy cập miễn phí, linh hoạt hơn với hạn công bố và tạo điều kiện cho kỹ sư đóng góp.

Bài viết cảnh báo về tác động tiêu cực của AI bảo mật đến OSS và đề xuất giải pháp thiết thực cho cộng đồng kỹ thuật.

Read, don't copy: replacing file feeds with OpenSharing - Part 2 (How to Implement)

Replace scheduled file and API feeds with a live shared Delta table: set up the share, query it directly, or read it incrementally.

Scaling Model Evaluation at Pinterest with Ray (Part 4)

Scaling Model Evaluation at Pinterest with Ray (Part 4) Vishnu Arun | Tech Lead, Feature Importance Platform; Anderson Lam | Sr Software Engineer; Andrew Qiu | Machine Learning Engineer I; Helena Xu …

How Kueue schedules Spark jobs fairly on Red Hat OpenShift AI

Learn how to manage Spark resource quotas with Red Hat build of Kueue on Red Hat OpenShift AI to prevent contention and configure self-managed queues.

From Customer Events to Real-Time Intelligence: Engineering Groww’s Feature Store at Scale

From Customer Events to Real-Time Intelligence: Engineering Groww’s Feature Store at Scale Author: Dipesh Chandra Maurya How Groww turns customer events into online features using Kafka, Spark …

df.plot in PySpark 4: What Actually Reaches Your Chart

df.plot in PySpark 4: What Actually Reaches Your Chart Spark 4.0 added native DataFrame plotting backed by Plotly. I ran every plot family on a million rows in PySpark 4.1.1 and checked which ones …

Announcing General Availability of Real-Time Mode for Spark Declarative Pipelines on Databricks

We

MiniLake Is a Local Databricks API Emulator with SQL, Delta Lake and Spark

MiniLake is a free, open-source local Databricks API emulator. Real SQL, real Delta Lake and real Spark job execution — for databricks-sdk, the CLI, Terraform, Asset Bundles and LLM agents. No account, no API key, no cloud bill.

From Spreadsheets to DuckLake: A Data Engineer's Road to DuckDB

After nearly two decades working with increasingly sophisticated data infrastructure, data engineer Matt Martin discovered DuckDB could handle many of the analytical tasks he cared about without the operational complexity he had come to associate with big data. The same preference for familiar SQL and simpler infrastructure drew him to DuckLake, and he has since become an active tester and advocate of DuckDB's evolving capabilities.

Sharing a Lakehouse in Microsoft Fabric

Learn how to share a Microsoft Fabric Lakehouse, assign read, SQL, and Spark permissions, and manage user access without granting workspace access.

How to teach with Databricks Free Edition

A practical guide for faculty: map your courses to the right tools, distribute assignments, and get students building on real production data and AI infrastructure, for free.

One Row In, Many Rows Out: Python UDTFs in PySpark 4.1

PySpark 4.1.1 giới thiệu UDTFs (User-Defined Table Functions) cho phép chuyển đổi một hàng đầu vào thành nhiều hàng đầu ra, khác với UDF thông thường chỉ trả về một giá trị mỗi hàng. Tính năng này đặc biệt hữu ích khi xử lý dữ liệu JSON phức tạp hoặc log file không cấu trúc, giúp phân tách một hàng dữ liệu thành nhiều hàng kết quả. Sử dụng UDTFs trong PySpark 4.1.1 giúp đơn giản hóa việc chuyển đổi cấu trúc dữ liệu mà không cần phải xử lý thủ công bằng pandas hay các thư viện khác. Điểm đáng học là UDTFs mở ra khả năng xử lý dữ liệu linh hoạt hơn trong Spark, cho phép các lập trình viên Python tận dụng sức mạnh của distributed computing mà không phải rời khỏi comfort zone của ngôn ngữ yêu thích.

Bài viết này giúp bạn hiểu cách sử dụng UDTFs trong PySpark 4.1 để chuyển đổi một hàng dữ liệu thành nhiều hàng dữ liệu, đặc biệt hữu ích khi xử lý dữ liệu JSON phức tạp.

Real-time energy trading and analytics on Databricks

See how Databricks combines real-time energy trading, risk monitoring, machine learning, and historical analytics in one governed workflow.

Netflix Bridges AWS IAM and Internal Identity with Workload Attestation

Netflix has developed a workload attestation mechanism for Apache Spark jobs running on Amazon EMR. The design combines AWS IAM identity with signed claims from Netflix’s control plane before issuing

Geospatial queries are up to 38X faster with Lakehouse//RT

Geospatial queries trong Lakehouse//RT hiện được hỗ trợ, có thể chạy nhanh hơn 38 lần so với traditional data warehouses. Tăng hiệu năng này đến từ việc Lakehouse//RT tối ưu hóa spatial joins và spatial SQL với cơ chế caching hiệu quả. Hệ quả là hệ thống xử lý truy vấn địa lý không chỉ nhanh hơn mà còn có độ trễ cực thấp khi xử lý dữ liệu quy mô lớn. Lập trình viên quan tâm đến xử lý dữ liệu địa lý nên cân nhắc xem xét Lakehouse//RT để cải thiện đáng kể hiệu năng ứng dụng.

Lập trình viên nên đọc bài này để hiểu cách Lakehouse//RT tăng tốc truy vấn không gian địa lý lên đến 38 lần so với kho dữ liệu truyền thống.

Does Apache Iceberg Actually Save You Money?

Apache Iceberg giúp giảm chi phí tính toán (compute) nhưng không giảm chi phí lưu trữ (storage) như nhiều người nghĩ. Các cuộc di chuyển sang Iceberg thực tế thường cho thấy tiết kiệm khoảng 30-50% chi phí tính toán nhờ format hiệu quả và query engine tối ưu. Chi vận hành lakehouse với Iceberg vẫn đắt đỏ, có thể lên tới 10-20% tổng ngân sách data pipeline. Bài phân tích chi tiết nên đọc nếu bạn đang cân nhắc chuyển sang Iceberg để hiểu rõ khi nào con số thực sự hợp lý, đặc biệt khi xét đến chi phí maintenance và tuning performance cho query engine như Trino hay Spark.

Bài viết này giúp bạn hiểu rõ Apache Iceberg thực sự tiết kiệm chi phí như thế nào qua phân tích thực tế và so sánh chi phí vận hành.

Scaling Spark and Flink Shuffle at LinkedIn with Apache Celeborn

LinkedIn details how it replaced Spark's push-based Magnet shuffle with a unified shuffle platform built on Apache Celeborn, serving both Spark and Flink workloads at massive scale. The architecture disaggregates shuffle storage from compute via dedicated Celeborn workers, adding network-aware replication, disruption-aware slot selection, fleet-wide health monitoring, NVMe storage, 100 Gbps networking, and ZSTD compression. Results versus the Magnet baseline include a 20x reduction in task failures during maintenance, 40% lower shuffle duration, 35% smaller required fleet size, 6x faster slot selection, ~10% lower compute cost, ~14% lower runtime, shuffle fetch failures dropping from ~750 to ~20 per day, and ~90% lower per-task shuffle cost. The rollout also enabled Flink to absorb large historical backfills, retiring a parallel Spark-based historical pipeline across thousands of pipeline instances.

How to Rewrite Apache Spark UDFs for GPU Acceleration with AI Agents

Các ứng dụng doanh nghiệp ngày càng đòi hỏi hiệu suất cao với lượng dữ liệu khổng lồ, đặc biệt khi áp dụng các agent AI. Việc rewrite UDF (User Defined Functions) trong Apache Spark sang GPU có thể tăng tốc xử lý đáng kể nhờ tận dụng sức mạnh song song của đồ họa. Một case study cho thấy việc chuyển đổi UDF Spark sang GPU bằng RAPIDS (với cuDF) giúp giảm thời gian xử lý từ 90 phút xuống còn 2 phút cho dataset 10GB. Điều này chứng tỏ tiềm năng lớn khi kết hợp AI agents với tối ưu hóa GPU cho xử lý dữ liệu lớn trên Spark.

Bài hướng dẫn giúp bạn tối ưu hóa hiệu suất Apache Spark bằng cách chuyển đổi UDF sang GPU sử dụng AI agents, giải quyết nhu cầu xử lý dữ liệu quy mô lớn trong ứng dụng doanh nghiệp.

Apache Spark Monitoring: Spark UI, Metrics and Alerts

Apache Spark cung cấp Spark UI để theo dõi hiệu suất job nhưng mất đi khi job kết thúc. Nguyên nhân kỹ thuật là Spark UI không tự động lưu trạng thái cần thiết để tái tạo giao diện sau khi hoàn thành. Hệ quả là người dùng mất đi khả năng phân tích skew và spill khi job đã kết thúc. Đáng học là Prometheus metrics giúp theo dõi Spark một cách liên tục, đồng thời cấu hình alerts để phát hiện các vấn đề hiệu suất như GC time tăng đột biến.

Hướng dẫn giám sát Apache Spark này giúp bạn tối ưu hiệu suất ứng dụng bằng cách hiểu và sử dụng hiệu quả Spark UI, Metrics và Alerts.

NEAREST BY Join: Scaling Vector Search in Databricks Runtime

Databricks phát triển NEAREST BY join để giải quyết bài toán vector search batch trong SQL, tận dụng Liquid Clustered Delta tables làm nền tảng. Họ tối ưu hóa bằng cách sử dụng Photon GEMM kernels cho phép thực hiện phép nhân ma trận vector hiệu quả, kết hợp với IVF Vector Index để giảm không gian tìm kiếm. Kết quả là giải pháp xử lý 1.2 tỷ vector chỉ trong 15 phút, tăng tốc 37 lần so với phương pháp truyền thống. Điều đáng học hỏi là cách họ tích hợp vector search vào SQL engine mà không cần framework đặc thù, đồng thời tận dụng sức mạnh của Delta Lake cho bài toán machine learning.

Bài viết này giúp lập trình viên biết cách tối ưu hóa tìm kiếm vector trong Databricks với công nghệ NEAREST BY và IVF Index.

Databricks’ native monitoring resources

Databricks cung cấp nhiều native monitoring resources như system tables, UIs, job notifications và REST API để thu thập telemetry dữ liệu. Nguyên nhân kỹ thuật là do Spark và Databricks cần hệ thống giám sát hiệu suất để tối ưu hóa cluster và job. Hệ quả là người dùng có thể theo dõi metrics thực time như query execution time, resource utilization và job status. Điều đáng học là cách sử dụng kết hợp system tables với REST API để xây dựng dashboard tùy chỉnh, cho phép phân tích sâu hơn hiệu suất hệ thống.

Bài này hướng dẫn bạn cách thu thập và giám sát hiệu suất Databricks và Spark hiệu quả bằng nhiều nguồn tài nguyên tích hợp.

Key metrics for monitoring Databricks

Learn about key metrics for monitoring the health, performance, and costs of Databricks data engineering, analytics, and Model Serving workloads.

Monitor Databricks with Datadog

Bối cảnh là hệ thống Databricks cần giám sát hiệu suất, chất lượng dữ liệu và chi phí cho các tác vụ phân tích và AI/ML. Nguyên nhân kỹ thuật là cần tích hợp Datadog để có giải pháp monitoring toàn diện. Hệ quả là bạn sẽ có cái nhìn chi tiết về performance metrics, log management và cost tracking trong Databricks workspace. Điều đáng học là cách thiết lập Datadog integration, sử dụng Databricks monitoring dashboard và theo dõi chi phí với exact cost breakdown.

Bài viết này giúp bạn theo dõi hiệu suất, chất lượng dữ liệu và chi phí của môi trường Databricks một cách hiệu quả với Datadog.

Serverless Storage on Amazon EMR Serverless now supports terabyte-scale shuffle

Amazon EMR Serverless hiện đã hỗ trợ shuffle quy mô terabyte, giải quyết bài toán xử lý dữ liệu lớn trong các ứng dụng distributed computing. Việc triển khai Apache Spark trên EMR Serverless trước đây bị giới hạn bởi khả năng shuffle do giới hạn dung lượng lưu trữ của Amazon S3. Giải pháp mới tận dụng Amazon S3 với kiến trúc mới cho phép xử lý shuffle lên đến 1 TB, cải thiện đáng kể hiệu suất cho các job phức tạp. Đây là bước tiến quan trọng giúp các lập trình viên có thể xây dựng pipeline data processing quy mô lớn mà không cần lo về provisioning infrastructure. Công nghệ này đặc biệt hữu ích cho các workload xử lý big data yêu cầu high availability và automatic scaling.

Bài viết này giúp lập trình viên nắm bắt tính năng shuffle trên terabyte-scale mới của Amazon EMR Serverless, tối ưu hóa xử lý dữ liệu lớn.

PayPal’s journey with Managed Service for Apache Spark

PayPal đã di chuyển các tác vụ phân tích sang Managed Service for Apache Spark trên Google Cloud để mở rộng quy mô và giảm chi phí vận hành. Việc chuyển đổi này giúp PayPal giải quyết vấn đề hiệu năng khi xử lý khối lượng lớn dữ liệu ngày càng tăng. Bằng cách sử dụng dịch vụ được quản lý, PayPal đã giảm đáng kể gánh nặng vận hành và tiết kiệm chi phí cơ sở hạ tầng. Công nghệ Managed Service for Apache Spark cho phép PayPal tập trung vào phát triển thay vì quản lý cơ sở hạ tầng. Giải pháp này có thể là case study hữu ích cho các công ty đang tìm cách tối ưu hóa hệ thống Big Data của mình.

PayPal chia sẻ kinh nghiệm chuyển đổi analytics sang Managed Service for Apache Spark giúp mở rộng quy mô và giảm chi phí vận hành.

Amazon S3 Tables now support all Apache Iceberg V3 data types

Amazon S3 Tables hiện hỗ trợ đầy đủ Apache Iceberg V3, cho phép tạo bảng V3 mới hoặc nâng cấp bảng V2 tại chỗ. Phiên bản V3 bổ sung deletion vectors thay thế positional delete files để xóa dữ liệu tuân thủ nhanh hơn, cùng các trường dòng dữ liệu tự động _row_id và _last_updated_sequence_number cho pipeline tăng trưởng. Bảng V3 giới thiệu các kiểu dữ liệu mới như variant, nanosecond timestamp(tz), geometry, geography, và unknown, yêu cầu engine trên Apache Spark 4.0+ như AWS Glue 6.0+ hoặc Amazon EMR 8.1+, và chỉ hoạt động với bảng định dạng Parquet. Việc nâng cấp từ V2 lên V3 là một chiều, miễn phí trên tất cả các khu vực AWS hỗ trợ S3 Tables.

Bài viết này giúp lập trình viên hiểu lợi ích và cách triển khai hỗ trợ Apache Iceberg V3 trên Amazon S3, đặc biệt là các kiểu dữ liệu mới và tính năng nâng cao để tối ưu hóa xử lý dữ liệu.

New public datasets available in Google Cloud Lakehouse

Google Cloud Lakehouse nay cung cấp các public dataset mới từ Wikipedia và GitHub sử dụng Apache Iceberg. Lập trình viên có thể truy cập dữ liệu lớn này thông qua PyIceberg và serverless Spark để xử lý data hiệu quả. Công nghệ Iceberg giúp quản lý schema evolution và time travel data, giải quyết vấn đề schema inconsistency khi xử lý big data. Serverless Spark cho phép chạy query trên dataset lớn mà không cần quản lý infrastructure, giảm độ phức tạp kỹ thuật. Dataset này mở ra cơ hội cho các phân tích data trên nguồn thực tế từ Wikipedia và GitHub mà không cần chi phí thu thập dữ liệu ban đầu.

Lập trình viên nên đọc bài này để tìm hiểu cách truy cập và xử lý dataset công khai từ Wikipedia và GitHub trên Google Cloud Lakehouse bằng PyIceberg và serverless Spark.

Apache Iceberg MERGE INTO and SCD Type 2

Bối cảnh: Apache Iceberg cung cấp cơ MERGE INTO để xử lý upsert idempotent và SCD Type 2 hiệu quả. Nguyên nhân kỹ thuật: Iceberg sử dụng metadata versioning và transaction logs để đảm bảo tính nhất quán khi ghi dữ liệu, tránh race condition trong concurrent operations. Hệ quả: Cơ chế này cho phép xử lý deduplication dữ liệu và duy trì lịch sử SCD Type 2 mà không cần xử lý riêng dữ liệu muộn. Điều đáng học: Iceberg tự động file compaction và pruning để tối ưu hiệu suất, giảm kích thước metadata và tăng tốc độ truy vấn.

Bài viết này giúp lập trình viên tối ưu hóa truy vấn dữ liệu với Apache Iceberg MERGE INTO và quản lý lịch sử thay đổi hiệu quả.

Maximize Apache Spark availability with flexible VMs

Các ứng dụng Apache Spark thường gặp vấn đề thiếu tài nguyên compute khi chạy trên Managed Service. Để giải quyết, bài đề xuất sử dụng flexible VMs tự động scale resource dựa trên workload thực tế. Giải pháp này giúp ngăn chặn tình trạng compute stockouts, tối ưu hóa allocation CPU và memory, đồng thời bảo vệ pipeline SLAs. Với khả năng resize VM linh hoạt, hệ thống có thể tự động điều chỉnh từ worker nodes với 4 vCPU/32GB đến 32 vCPU/256GB khi cần, đảm bảo hiệu suất ổn định.

Bài hướng dẫn này giúp lập trình viên tối ưu hóa hiệu suất và bảo đảm SLA cho pipeline Apache Spark bằng cách cấu hình VM linh hoạt.