Đang tải bảng tin…
NVIDIA Developer0 Hot0 bình luận9 phút đọc
Reducing High-Bandwidth Memory Bottlenecks in JAX-Based LLM Training with Host Offloading
GPU high-bandwidth memory (HBM) is increasingly the bottleneck in LLM training. JAX's host offloading feature moves selected activations to pinned CPU memory during the forward pass and streams them back during the backward pass, reducing HBM pressure without recomputing activations. On NVIDIA Grace Blackwell systems, the NVLink-C2C interconnect (900 GB/s bidirectional) makes this practical. Using MaxText with 128 GB200 NVL72 GPUs, DeepSeek-V3 671B achieved 908.2 TFLOPs/s/device with host offloading, LHS, and pipelined transfers — 57% faster than activation rematerialization at the same batch size. It also enabled a 4x larger batch configuration (global batch 1024 vs 256) that would otherwise OOM. Llama 3.1 405B saw a smaller 2.9% throughput gain. Key enablers are XLA's Latency Hiding Scheduler (LHS) and pipelined host offloading flags that overlap data transfers with compute. Practical guidance covers JAX APIs, XLA flags, and profiling with Nsight Systems.
Nguồn: https://developer.nvidia.com/blog/reducing-high-bandwidth-memory-bottlenecks-in-jax-based-llm-training-with-host-offloading. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
Hugging Face45 Hot11 phútAI
Why Specialization Is Inevitable
AI chuyên biệt không phải là lựa chọn mà là xu hướng tất yếu do ba nguyên lý: định lý No Free Lunch (không thuật toán tổng quát nào vượt trội trên mọi bài toán), sinh học tiến hóa (chuyên gia cạnh tranh hiệu quả hơn đa năng dưới áp lực tài nguyên), và thị trường cạnh tranh (tập trung chiến lược ưu việt hơn phân tán). Các bằng chứng từ machine learning (negative transfer, mixture-of-experts, AlphaFold) và sự phân biệt giữa domain knowledge (thay thế bởi scaling) với domain specialization (không bị loại bỏ) càng củng cố kết luận: khi nguồn lực hữu hạn và áp lực chọn lọc, sự phù hợp luôn thắng thế so với sự đa dạng.
Lập trình viên nên đọc bài này để hiểu cách AI và hệ thống máy học tự động hóa và tối ưu hóa thành công thông qua chuyên môn hóa chứ không phải sự đa dạng rộng rãi.
