Modernizing Table Batched Embeddings with FBTriton – PyTorch

Meta giới thiệu FBTriton, phiên bản viết lại Triton cho Table Batched Embedding dùng trong hệ thống gợi ý trên nhiều GPU sharded. Việc tối ưu hóa này thiết kế hai path cho forward (generic gather và specialized tensor-core) và ba backward path exploit tính năng Blackwell như CLC work-stealing và TMA bulk atomic. Trên GB200 với 307 cấu hình shard, FBTriton đạt tốc độ forward trung bình cao hơn 1.28x so với CUDA cũ, đạt 3,948 GB/s trong một số trường hợp nhờ tránh đồng bộ hóa cooperative-CTA không cần thiết. Lợi ích lớn nhất là việc sửa lỗi chỉ cần thay đổi config chứ không cần cấu trúc lại CUDA template, và kernel Python đơn giản tạo cơ hội fusion giữa forward/backward.