Unsloth's new desktop app does the one thing LM Studio and Ollama never let me do

LM Studio và Ollama hiện chỉ cho phép chạy và tương tác với các mô hình LLM mà không hỗ trợ việc fine-tune trực tiếp trên máy local. Unsloth vừa ra mắt ứng dụng desktop mới nhằm điền vào khoảng trống này bằng cách tích hợp khả năng fine-tune mô hình qua các kỹ thuật tối ưu hóa bộ nhớ và gradient. Nhờ đó, người dùng có thể điều chỉnh trọng số của mô hình như Llama 2 hoặc Mistral bằng dữ liệu cá nhân mà không cần gửi dữ liệu lên đám mây. Kết quả là thời gian fine-tune được giảm đáng kể nhờ sử dụng các kernel tối ưu của Unsloth, đồng thời giảm tiêu thụ VRAM so với các phương pháp truyền thống. Điều này cho thấy khi chọn công cụ chạy LLM local, khả năng fine-tune tích hợp sẵn nên là yếu tố then chốt để tối ưu hoá hiệu suất và bảo mật dữ liệu.