Medium0 Hot0 comments9 min read2 h ago

One Layer Deeper: What I Learned Trying to Compose One Step 64 Times

One Layer Deeper: What I Learned Trying to Compose One Step 64 Times How a recurrent digit model, Fourier embeddings, straight-through estimation taught me that depth generalization is a different …

Read the original

#deep-learning

Source: https://medium.com/@nikhilkumar.marepally/one-layer-deeper-what-i-learned-trying-to-compose-one-step-64-times-303d7b095ab3. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.

Recommended for you

Sebastian Raschka49 Hot3 min1 mo agoAI

Kimi K3 Architecture Notes

Bài viết giới thiệu ngắn gọn kiến trúc Kimi K3 với các công nghệ chính như LatentMoE, Kimi Delta Attention, Attention Residuals, NoPE, khả năng đa phương thức (multimodality) và những lựa chọn tối ưu hóa hiệu suất suy luận (inference-efficiency).

Lập trình viên phát triển AI hoặc tích hợp mô hình ngôn ngữ lớn nên đọc để hiểu cách Kimi K3 tối ưu hóa kiến trúc mô hình bằng các kỹ thuật mới như LatentMoE và NoPE, giúp cải thiện hiệu suất tính toán và giảm chi phí trên thiết bị thực tế.

#llm #deep-learning

Bình luận

Đang tải bình luận…

Towards Data Science1 Hot16 min18 d agoAI

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media phát triển một bộ phân loại hình ảnh riêng cho ảnh đăng bán bất động sản với 23 lớp phòng và nội dung, đồng thời đưa ra một khung quyết định để chọn giữa gọi API VLM hay huấn luyện mô hình riêng, chọn mô hình nền tảng và quyết định fine‑tune hay freeze backbone. Họ thực nghiệm trên tập dữ liệu riêng 40.000 ảnh, so sánh SigLIP freeze, DINOv2 freeze và SigLIP fine‑tune bằng LoRA, kết quả cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh chưa gắn nhãn từ 9,4% xuống 3,4%, gần với mức cơ bản tự nhiên 3,9%. Lớp GARDEN nhận được tăng recall 26 điểm, trong khi việc đơn giản chuyển sang DINOv2 đã hồi phục hơn một nửa của khoảng cách này mà không cần fine‑tune. So sánh chi phí cho thấy việc sử dụng API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại chạy trên GPU riêng chỉ tốn khoảng 0,37 USD cho cùng lượng ảnh, và việc thực hiện toàn bộ quá trình quét siêu tham số LoRA chỉ tốn khoảng 30 USD. Bài học là mặc dù fine‑tune có thể cải thiện chỉ số, nhưng việc lựa chọn mô hình nền tảng phù hợp và cân nhắc chi phí thường làm cho việc freeze backbone hoặc chuyển mô hình trở thành lựa chọn hiệu quả hơn.

Bài viết này cung cấp framework ra quyết định chi tiết và so sánh thực tế giữa việc fine-tune SigLIP, sử dụng DINOv2 hay gọi API VLM giúp lập trình viên tối ưu hóa lựa chọn mô hình hình ảnh với chi phí và hiệu suất tối ưu.

#deep-learning #computer-vision #lora Source

One Layer Deeper: What I Learned Trying to Compose One Step 64 Times

Recommended for you

Kimi K3 Architecture Notes

Bình luận

What Actually Happens Inside the Transformer MLP Layer?

[2607.11938] Mathematics of Data Science

LLMs From Scratch Reaches 100,000 GitHub Stars

System helps humans predict when self-driving cars will make mistakes

Newer Models, Same Advantage

From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads