Đang tải bảng tin…
Phoronix0 Hot0 bình luận1 phút đọc
KTransformers 0.7 Expands AVX-512 Support To Benefit AMD EPYC Servers
Tóm tắt bởi AI
Phiên bản KTransformers 0.7 bổ sung hỗ trợ đầy đủ AVX-512 cho fine-tuning LoRA, loại bỏ yêu cầu AMX, giúp tối ưu hiệu suất trên máy chủ AMD EPYC Zen 4/5/6 và CPU Intel Xeon cũ. Tính năng mới bao gồm hỗ trợ fine-tuning VLM, LoRA dùng FP8 gốc, cải tiến triển khai DeepSeek V4 cùng tái sử dụng kích hoạt CPU.
Vì sao nên đọc: Lập trình viên phát triển mô hình AI cần đọc để tối ưu hóa hiệu suất cho các hệ thống AMD EPYC hoặc Intel Xeon không hỗ trợ AMX, đặc biệt khi xử lý fine-tuning LoRA trên các thiết bị có bộ nhớ lớn với mô hình MoE.
Bạn nhớ được gì?
Trả lời 3 câu hỏi ngắn để nhận điểm thưởng cho bài này. Chỉ làm khi bạn muốn lấy điểm.
tối đa +17 điểm
3 câu hỏi · dưới một phút · không bắt buộc
Nguồn: https://www.phoronix.com/news/KTransformers-0.7. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
