Medium0 Hot0 bình luận9 phút đọc2 giờ trước

One Layer Deeper: What I Learned Trying to Compose One Step 64 Times

One Layer Deeper: What I Learned Trying to Compose One Step 64 Times How a recurrent digit model, Fourier embeddings, straight-through estimation taught me that depth generalization is a different …

Đọc bài gốc

#deep-learning

Nguồn: https://medium.com/@nikhilkumar.marepally/one-layer-deeper-what-i-learned-trying-to-compose-one-step-64-times-303d7b095ab3. 8 Sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Sebastian Raschka49 Hot3 phút1 tháng trướcAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning

Bình luận

Đang tải bình luận…

Towards Data Science1 Hot16 phút18 ngày trướcAI

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media phát triển một bộ phân loại hình ảnh riêng cho ảnh đăng bán bất động sản với 23 lớp phòng và nội dung, đồng thời đưa ra một khung quyết định để chọn giữa gọi API VLM hay huấn luyện mô hình riêng, chọn mô hình nền tảng và quyết định fine‑tune hay freeze backbone. Họ thực nghiệm trên tập dữ liệu riêng 40.000 ảnh, so sánh SigLIP freeze, DINOv2 freeze và SigLIP fine‑tune bằng LoRA, kết quả cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh chưa gắn nhãn từ 9,4% xuống 3,4%, gần với mức cơ bản tự nhiên 3,9%. Lớp GARDEN nhận được tăng recall 26 điểm, trong khi việc đơn giản chuyển sang DINOv2 đã hồi phục hơn một nửa của khoảng cách này mà không cần fine‑tune. So sánh chi phí cho thấy việc sử dụng API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại chạy trên GPU riêng chỉ tốn khoảng 0,37 USD cho cùng lượng ảnh, và việc thực hiện toàn bộ quá trình quét siêu tham số LoRA chỉ tốn khoảng 30 USD. Bài học là mặc dù fine‑tune có thể cải thiện chỉ số, nhưng việc lựa chọn mô hình nền tảng phù hợp và cân nhắc chi phí thường làm cho việc freeze backbone hoặc chuyển mô hình trở thành lựa chọn hiệu quả hơn.

Bài viết này cung cấp framework ra quyết định chi tiết và so sánh thực tế giữa việc fine-tune SigLIP, sử dụng DINOv2 hay gọi API VLM giúp lập trình viên tối ưu hóa lựa chọn mô hình hình ảnh với chi phí và hiệu suất tối ưu.

#deep-learning #computer-vision #lora Nguồn

One Layer Deeper: What I Learned Trying to Compose One Step 64 Times

Đề xuất cho bạn

Kimi K3 Architecture Notes

Bình luận

What Actually Happens Inside the Transformer MLP Layer?

[2607.11938] Mathematics of Data Science

LLMs From Scratch Reaches 100,000 GitHub Stars

System helps humans predict when self-driving cars will make mistakes

Newer Models, Same Advantage

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Một tài khoản, cả hệ sinh thái

8syncdev.com

Khóa học

Luyện code

IELTS

ZUS — IDE AI

mind0

AcoLeads