From Wafer-Out to First Token: Codifying Supply Chain Expertise with Nemotron and Palantir Foundry

Towards Data Science1 Hot16 min18 d agoAI

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media phát triển một bộ phân loại hình ảnh riêng cho ảnh đăng bán bất động sản với 23 lớp phòng và nội dung, đồng thời đưa ra một khung quyết định để chọn giữa gọi API VLM hay huấn luyện mô hình riêng, chọn mô hình nền tảng và quyết định fine‑tune hay freeze backbone. Họ thực nghiệm trên tập dữ liệu riêng 40.000 ảnh, so sánh SigLIP freeze, DINOv2 freeze và SigLIP fine‑tune bằng LoRA, kết quả cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh chưa gắn nhãn từ 9,4% xuống 3,4%, gần với mức cơ bản tự nhiên 3,9%. Lớp GARDEN nhận được tăng recall 26 điểm, trong khi việc đơn giản chuyển sang DINOv2 đã hồi phục hơn một nửa của khoảng cách này mà không cần fine‑tune. So sánh chi phí cho thấy việc sử dụng API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại chạy trên GPU riêng chỉ tốn khoảng 0,37 USD cho cùng lượng ảnh, và việc thực hiện toàn bộ quá trình quét siêu tham số LoRA chỉ tốn khoảng 30 USD. Bài học là mặc dù fine‑tune có thể cải thiện chỉ số, nhưng việc lựa chọn mô hình nền tảng phù hợp và cân nhắc chi phí thường làm cho việc freeze backbone hoặc chuyển mô hình trở thành lựa chọn hiệu quả hơn.

Bài viết này cung cấp framework ra quyết định chi tiết và so sánh thực tế giữa việc fine-tune SigLIP, sử dụng DINOv2 hay gọi API VLM giúp lập trình viên tối ưu hóa lựa chọn mô hình hình ảnh với chi phí và hiệu suất tối ưu.

#deep-learning #computer-vision #lora Source

Machine Learning Mastery1 Hot5 min1 mo agoAI

Prompt Caching vs. Fine-Tuning: A Cost and Latency Decision Framework

Prompt caching giảm chi phí API và độ trễ bằng cách lưu trạng thái KV hoặc đầu ra thô, tối ưu cho các yêu cầu lặp lại; fine-tuning (như LoRA) nhúng kiến thức miền vào trọng số mô hình, giảm kích thước ngữ cảnh. Nên dùng caching cho prompt hệ thống tĩnh, RAG, truy vấn lặp; fine-tuning cho định dạng đầu ra, cá nhân hóa persona. Kiến trúc lai (fine-tuning mô hình nhỏ + prompt caching) giúp tiết kiệm chi phí và tăng độ bền.

Lập trình viên nên đọc bài này để hiểu cách tối ưu hóa chi phí và tốc độ phản hồi trong hệ thống AI agent bằng cách lựa chọn giữa lưu trữ cache prompt (giảm tái tính toán) và điều chỉnh mô hình (cải thiện hiệu suất dài hạn) theo từng trường hợp cụ thể.

#llm #deep-learning #agentic-ai Source

Medium1 Hot9 min1 mo agoAI

What is LoRA and how it lets anyone fine-tune a massive AI model on a single GPU

LoRA (Low-Rank Adaptation) là kỹ thuật giúp tinh chỉnh (fine-tune) các mô hình AI lớn trên một GPU duy nhất bằng cách giảm dung lượng bộ nhớ cần thiết thông qua phân tích ma trận hạng thấp. Phương pháp này cho phép người dùng cá nhân hoặc tổ chức nhỏ thực hiện fine-tuning mà không cần phần cứng đắt tiền.

Là người phát triển cần hiểu LoRA để tối ưu hóa việc điều chỉnh mô hình AI lớn trên thiết bị cá nhân, tiết kiệm chi phí và thời gian mà không cần máy chủ mạnh mẽ.

#machine-learning #llm #deep-learning Source

XDA Developers0 Hot4 min17 d agoAI

Unsloth's new desktop app does the one thing LM Studio and Ollama never let me do

LM Studio và Ollama hiện chỉ cho phép chạy và tương tác với các mô hình LLM mà không hỗ trợ việc fine-tune trực tiếp trên máy local. Unsloth vừa ra mắt ứng dụng desktop mới nhằm điền vào khoảng trống này bằng cách tích hợp khả năng fine-tune mô hình qua các kỹ thuật tối ưu hóa bộ nhớ và gradient. Nhờ đó, người dùng có thể điều chỉnh trọng số của mô hình như Llama 2 hoặc Mistral bằng dữ liệu cá nhân mà không cần gửi dữ liệu lên đám mây. Kết quả là thời gian fine-tune được giảm đáng kể nhờ sử dụng các kernel tối ưu của Unsloth, đồng thời giảm tiêu thụ VRAM so với các phương pháp truyền thống. Điều này cho thấy khi chọn công cụ chạy LLM local, khả năng fine-tune tích hợp sẵn nên là yếu tố then chốt để tối ưu hoá hiệu suất và bảo mật dữ liệu.

Ứng dụng desktop mới của Unsloth mang đến khả năng tinh chỉnh mô hình mà LM Studio và Ollama không làm được, điều mà lập trình viên AI cần để tối ưu hóa hiệu suất.

#deep-learning #local-ai #ollama Source

Red Hat Developer0 Hot5 min1 mo agoAI

OSFT explained: Prevent catastrophic forgetting in LLM fine-tuning

OSFT (Orthogonal Subspace Fine-Tuning) là phương pháp fine-tuning LLM nhằm ngăn chặn hiện tượng "catastrophic forgetting" bằng cách bảo toàn kiến thức sẵn có thông qua điều chỉnh trọng số trong không gian con trực giao.

Nếu bạn đang làm việc với các mô hình ngôn ngữ lớn và muốn tránh mất kiến thức quan trọng khi điều chỉnh chúng, OSFT là giải pháp hiệu quả để giữ nguyên thông tin ban đầu trong quá trình fine-tuning mà không cần mất thời gian và tài nguyên.

#python #lora Source

CNX Software0 Hot4 min1 mo agoAI

A standalone ESP32-S3 MeshCore communication terminal with color LCD, QWERTY keyboard

Thiết bị Elecrow ThinkNode M9 là một thiết bị đầu cuối LoRa độc lập chạy firmware MeshCore, tích hợp bàn phím QWERTY, màn hình màu, GPS và kết nối LoRa.

Nếu bạn đang tìm kiếm một giải pháp kết nối IoT hiệu quả với giao diện người dùng thân thiện và khả năng mở rộng mesh tự động, ThinkNode M9 sẽ là lựa chọn tối ưu cho việc phát triển ứng dụng LoRa thông minh từ thiết bị đơn lẻ đến mạng lưới lớn.

#iot #embedded #lora Source

Medium0 Hot5 min1 mo agoAI

LoRA: Fine-Tuning Billion-Parameter LLMs on a Single GPU

LoRA là phương pháp fine-tuning các mô hình ngôn ngữ lớn (LLM) với hàng tỷ tham số trên duy nhất một GPU, giúp tiết kiệm chi phí và tài nguyên so với fine-tuning toàn bộ mô hình.

Là người viết code cho AI lớn, bạn nên đọc bài để khám phá cách LoRA giúp tối ưu hóa việc fine-tuning mô hình với chi phí tài nguyên thấp hơn nhiều, cho phép bạn thực hiện dự án lớn hơn mà không cần một cluster máy chủ.

#llm #deep-learning #lora Source

Hackaday0 Hot2 min23 d agoAI

Store Tunes On Paper And Stream Them Over LoRA

Dự án Paper Tunes của một người chơi nghiệp dư sử dụng EnCodec của Meta để nén bài hát MP3 xuống còn 21,44 kB, đủ nhỏ để mã hóa trên tám mã QR in trên hai mặt tờ giấy hoặc truyền qua sóng vô tuyến LoRA, bất chấp băng thông thấp của LoRA vốn không phù hợp cho audio.

Lập trình viên nên đọc bài này để khám phá cách kết hợp công nghệ mã hóa âm thanh tiên tiến (EnCodec) với truyền dữ liệu thấp hiệu quả, giúp giải quyết thách thức về băng thông và lưu trữ cho các ứng dụng âm nhạc cá nhân hoặc thiết bị IoT có nguồn lực hạn chế.

#neural-networks #lora Source

From Wafer-Out to First Token: Codifying Supply Chain Expertise with Nemotron and Palantir Foundry

Recommended for you

Bình luận

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Prompt Caching vs. Fine-Tuning: A Cost and Latency Decision Framework

What is LoRA and how it lets anyone fine-tune a massive AI model on a single GPU

Unsloth's new desktop app does the one thing LM Studio and Ollama never let me do

OSFT explained: Prevent catastrophic forgetting in LLM fine-tuning

A standalone ESP32-S3 MeshCore communication terminal with color LCD, QWERTY keyboard

LoRA: Fine-Tuning Billion-Parameter LLMs on a Single GPU

Store Tunes On Paper And Stream Them Over LoRA

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads