Native-speed vLLM transformers modeling backend

Backend mô hình hóa transformers của thư viện vLLM đã được cập nhật để đạt hoặc vượt thông lượng so với các triển khai native hand-written của vLLM. Sử dụng torch.fx để phân tích đồ thị tĩnh và thao tác AST, backend nay có thể áp dụng động các phép hợp nhất lớp (layer fusion) dành riêng cho inference vào lúc runtime, bao gồm các hạt nhân song song chuyên gia MoE (fused MoE expert parallelism kernels) và các lớp linear song song đã hợp nhất, mà không cần tác giả mô hình viết mã vLLM tùy chỉnh. Các benchmark trên các mô hình Qwen3 4B, 32B và 235B-A22B-FP8 MoE cho thấy hiệu năng tương đương hoặc tốt hơn so với native vLLM. Tích hợp được kích hoạt bằng một flag duy nhất (--model-impl transformers) và hỗ trợ song song tensor, song song dữ liệu, song song chuyên gia, torch.compile và CUDA Graphs. Ưu điểm chính là cùng một mã mô hình transformers có thể dùng cho training, đánh giá, vòng lặp RL và inference siêu nhanh bằng vLLM.