Maxime Heckel0 Hot0 comments31 min read1 mo ago

The Blog of Maxime Heckel

AI summary

Bài viết của Maxime Heckel đi sâu vào kỹ thuật phát hiện, trích xuất và tạo kiểu chuyển động bằng WebGPU và TSL, bao gồm motion masking, blob tracking, optical flow và velocity-based motion blur.

Why read it: Lập trình viên muốn xây dựng ứng dụng đồ họa tương tác cao cấp như game 3D, hiệu ứng video hoặc AI vision nên đọc để hiểu cách sử dụng WebGPU kết hợp với TSL (Temporal Signal Processing) để tối ưu hóa xử lý và tạo ra các hiệu ứng motion nhạy cảm, chính xác và hiệu suất cao.

What do you remember?

Answer 3 short questions to earn reward points for this article. Only do it if you want the points.

up to +17 points

3 questions · under a minute · optional

Read the original

#computer-vision #webgpu #react-three-fiber

Source: https://blog.maximeheckel.com/posts/shading-motion. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.

Recommended for you

Bình luận

Đang tải bình luận…

Towards Data Science1 Hot16 min1 mo agoAI

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media phát triển một bộ phân loại hình ảnh riêng cho ảnh đăng bán bất động sản với 23 lớp phòng và nội dung, đồng thời đưa ra một khung quyết định để chọn giữa gọi API VLM hay huấn luyện mô hình riêng, chọn mô hình nền tảng và quyết định fine‑tune hay freeze backbone. Họ thực nghiệm trên tập dữ liệu riêng 40.000 ảnh, so sánh SigLIP freeze, DINOv2 freeze và SigLIP fine‑tune bằng LoRA, kết quả cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh chưa gắn nhãn từ 9,4% xuống 3,4%, gần với mức cơ bản tự nhiên 3,9%. Lớp GARDEN nhận được tăng recall 26 điểm, trong khi việc đơn giản chuyển sang DINOv2 đã hồi phục hơn một nửa của khoảng cách này mà không cần fine‑tune. So sánh chi phí cho thấy việc sử dụng API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại chạy trên GPU riêng chỉ tốn khoảng 0,37 USD cho cùng lượng ảnh, và việc thực hiện toàn bộ quá trình quét siêu tham số LoRA chỉ tốn khoảng 30 USD. Bài học là mặc dù fine‑tune có thể cải thiện chỉ số, nhưng việc lựa chọn mô hình nền tảng phù hợp và cân nhắc chi phí thường làm cho việc freeze backbone hoặc chuyển mô hình trở thành lựa chọn hiệu quả hơn.

Bài viết này cung cấp framework ra quyết định chi tiết và so sánh thực tế giữa việc fine-tune SigLIP, sử dụng DINOv2 hay gọi API VLM giúp lập trình viên tối ưu hóa lựa chọn mô hình hình ảnh với chi phí và hiệu suất tối ưu.

#deep-learning #computer-vision #lora Source

The Blog of Maxime Heckel

What do you remember?

Recommended for you

Bình luận

How to Turn a RECIST Line into a 3D Tumor Segmentation Mask

Building an Infinite Liquid Glass Grid with Three.js, WebGPU, and TSL

Building a Real-Time 3D Face Mask with MediaPipe, Threlte and Three.js

Mushroom hunting with LLMs: what can go wrong?

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

AI in Disaster Response: The Drone That Hears a Heartbeat Under the Rubble

CVITEK CV1842H-P-based edge AI camera module offers night vision and AI-ISP support (Crowdfunding)

Fine-Tuning SOTA Object Detection Models on Real-World Datasets

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads