After trying 20+ local LLMs, these are the 4 I keep installed for different jobs

Tác giả đã thử nghiệm hơn 20 mô hình LLM chạy local để tìm ra những cái phù hợp nhất với từng nhu cầu cụ thể. Anh ấy nhận thấy không có mô hình nào tốt nhất trong tất cả các tác vụ; mỗi model có điểm mạnh riêng như tốc độ sinh văn bản, khả năng reasoning hoặc hỗ trợ tốt cho mã nguồn. Do đó, anh quyết định giữ lại chỉ 4 mô hình khác nhau, mỗi cái được cài sẵn để xử lý một loại công việc cụ thể (ví dụ: mô hình A cho tạo mã, mô hình B cho tóm tắt tài liệu, mô hình C cho trò chuyện, mô hình D cho xử lý ngôn ngữ đa ngôn ngữ). Khi cần thực hiện một nhiệm vụ, anh chỉ cần gọi model tương ứng mà không phải lo lắng về việc chuyển đổi hoặc tải lại. Bài học là thay vì tích lũy nhiều model mà không có mục tiêu, nên chọn và giữ những model phù hợp với từng công việc để tối ưu hóa hiệu suất và tiết kiệm tài nguyên.