Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism

Nonuniform Tensor Parallelism (NTP) is an experimental framework for maintaining high Goodput during large-scale LLM training when GPUs fail or become temporarily unavailable. When a GPU drops out of a tensor parallelism group, NTP dynamically reduces the TP degree to use only remaining functional GPUs, applies power-boosting to compensate for the reduced replica's slower throughput, and performs efficient resharding overlapped with backward computation — adding less than 1% overhead to healthy replicas. The approach prevents transient hardware issues from stalling entire training jobs across thousands of GPUs. NTP has been added to the developer branch of NVIDIA Megatron Core, with related work extending the concept to Nonuniform Expert Parallelism for MoE models.

Nguồn: https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

databricks1 Hot8 phút5 giờ trướcAI

Scaling Security Alert Triage With Specialized Agents on Databricks

Đội bảo mật nội bộ Databricks triển khai 17 tác nhân AI chuyên biệt để xử lý 100% cảnh báo bảo mật mức độ thấp theo thời gian thực bằng Spark Structured Streaming, lọc sớm các tín hiệu vô hại, sử dụng prompt chuyên biệt theo nguồn, tích hợp Threat Intelligence và theo dõi quyết định qua MLflow. Hệ thống tiết kiệm 6.500 giờ phân tích trong 30 ngày và nâng tỷ lệ cảnh báo thật (true positives) gấp 10 lần so với phương pháp cũ, đồng thời rút ra bài học về việc ưu tiên ngữ cảnh hành vi lịch sử và hạn chế phạm vi hướng dẫn của tác nhân để giảm false positives.

Để tối ưu hóa hiệu quả triệt để trong việc xử lý cảnh báo an ninh với chi phí nhân lực thấp và độ chính xác cao, lập trình viên nên tham khảo cách xây dựng hệ thống triệt giác thông minh bằng các và để tự động hóa phân loại cảnh báo an ninh từ thấp đến trung bình.