I tried 3 mobile local LLM apps for a month, and the least popular one does what the rest can't

Bối cảnh là tác giả đã thử nghiệm 3 ứng dụng Local LLM trên mobile trong một tháng. Ứng dụng kém phổ biến nhất là Oobabooga Text Generation UI, vượt trội về khả năng xử lý context window lên đến 32K tokens. Nguyên nhân kỹ thuật là Oobabooga tối ưu hóa tốt hơn cho việc chạy trên thiết bị di động, khác với MLX Assistant và GPT4All bị giới hạn bởi hardware mobile. Hệ quả là Oobabooga cho trải nghiệm liền mạch hơn khi xử lý các tác vụ dài, trong khi hai ứng dụng khác thường gặp gián đoạn. Điều đáng học là hiệu năng không chỉ phụ thuộc vào mức độ phổ biến mà còn vào cách tối ưu hóa cho từng nền tảng cụ thể.