Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media đã xây dựng một bộ phân loại hình ảnh riêng để xử lý ảnh đăng tin bất động sản trong 23 lớp phòng và nội dung. Họ đã so sánh SigLIP đóng băng, DINOv2 đóng băng và SigLIP được tinh chỉnh bằng LoRA trên tập dữ liệu riêng 40.000 ảnh, cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh không gán nhãn từ 9,4% xuống 3,4% (gần với mức cơ bản tự nhiên 3,9%). Trong đó, lớp GARDEN tăng recall 26 điểm, trong khi việc chỉ chuyển sang DINOv2 đã hồi phục hơn một nửa khoảng cách này mà không cần tinh chỉnh. So sánh chi phí cho thấy việc gọi API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại tự chạy trên GPU chỉ tốn 0,37 USD/triệu ảnh và một lần sweep toàn bộ siêu tham số LoRA chỉ khoảng 30 USD. Bài học là việc tinh chỉnh với LoRA có thể cải thiện chỉ số, nhưng việc chọn một mô hình nền tảng tốt hơn (ví dụ DINOv2) hoặc giữ nguyên backbone thường đạt được lợi益 tương đương với chi phí thấp hơn, nên teams cần cân nhắc kích thước dữ liệu, ngân sách nhãn và chi phí suy luận trước khi quyết định fine‑tune.