I dropped Qwen and Gemma for a 27B model that runs smoothly on my 8GB graphics card

MoE models changed what "fits on my GPU" means, and most hardware advice hasn't caught up

Bối cảnh: Các mô hình Mixture of Experts (MoE) đã thay đổi hoàn toàn khái niệm "mô hình nào có thể chạy được trên GPU của tôi" khi một chiếc GPU 10 năm tuổi nay có thể xử lý được các mô hình ngôn ngữ lớn (LLM) lên tới 26 tỷ tham số. Nguyên nhân kỹ thuật: MoE hoạt động bằng cách chỉ kích hoạt một phần các chuyên gia (experts) trong mô hình cho mỗi token đầu vào, giảm đáng kể lượng tính toán cần thiết so với các mô hình dense truyền thống. Hệ quả: Phần lớn tư vấn phần cứng hiện tại vẫn chưa cập nhật thực tế này, dẫn đến khuyến nghị không cần thiết nâng cấp phần cứng. Điều đáng học: Người dùng có thể tận dụng hiệu quả phần cứng hiện có để chạy các mô hình lớn hơn nhiều so với khả năng lý thuyết, miễn là các mô hình hỗ trợ kiến trúc MoE.