Running Low-Latency Analytical Workloads with GPU-Accelerated Presto on NVIDIA GB200 NVL72

GPU-accelerated Presto running on NVIDIA DGX B200 and GB200 NVL72 hardware delivers 2.5x–8x lower query latency compared to multi-node CPU Presto clusters on TPC-H-derived benchmarks. Key performance enablers include NVIDIA cuDF for computation, NVLink for GPU-to-GPU communication, and GPUDirect Storage (GDS) for bypassing CPU bounce buffers when reading from IBM Storage Scale. On the 18-node NVL72 cluster, a series of I/O and communication optimizations — enabling GDS, increasing I/O task size to 16 MiB, adding I/O threads, and tuning UcxExchange — yielded 64% faster query runtimes overall. GDS cold reads showed ~2x faster runtimes than POSIX cold reads at scale. GPU-accelerated Presto is now available for technical preview via IBM watsonx.data, with Docker images and deployment scripts publicly available.

Nguồn: https://developer.nvidia.com/blog/running-low-latency-analytical-workloads-with-gpu-accelerated-presto-on-nvidia-gb200-nvl72. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Towards Data Science1 Hot7 phút1 giờ trướcAI

The Real Challenge Limiting AI Models Today

Hiện nay, các mô hình AI tiên tiến bị hạn chế chủ yếu bởi băng thông bộ nhớ (memory bandwidth) chứ không phải tốc độ tính toán, khi dữ liệu di chuyển giữa bộ nhớ và bộ xử lý trở thành rào cản hiệu suất chính. Các giải pháp đang được nghiên cứu bao gồm cải tiến kiến trúc bộ nhớ, tính toán gần bộ nhớ, nén mô hình và sử dụng kết nối quang học.

Lập trình viên AI nên đọc bài này để hiểu cách tối ưu hóa hiệu suất hệ thống bằng kiến thức về giới hạn băng thông bộ nhớ—chìa khóa quyết định tốc độ xử lý mô hình lớn trong cả giai đoạn huấn luyện và dự đoán.

#llm