The Next Web0 Hot0 comments7 min read20 d ago

Why video is the first frontier as AI learns to read the physical world

AI summary

Hiện nay trên toàn thế giới đã có 562 triệu camera giám sát được lắp đặt, và khoảng hai trong ba của chúng được xuất kèm phần tích phân tích sâu (deep‑learning analytics). Đây là bối cảnh cho thấy lượng dữ liệu video thực tế rất lớn và đang ngày càng được trang trí bằng khả năng xử lý AI. Lumana nhận thấy việc biến những luồng video hiện có thành dữ liệu có thể tìm kiếm và thông minh sẽ tạo ra nền tảng nhanh nhất để mở rộng AI vật lý (physical AI). Khi video được làm thông minh, các hệ thống có thể hiểu và tương tác với thế giới thực tế mà không cần xây dựng cảm biến mới. Điều này cho thấy việc tận dụng hạ tầng hiện có là chiến lược hiệu quả nhất để AI học đọc và phản ứng với môi trường vật lý.

Why read it: Bài này giải thích tại sao video là bước đi tiên phong cho AI khi học đọc thế giới vật lý với tiềm năng mở rộng nhanh chóng.

What do you remember?

Answer 3 short questions to earn reward points for this article. Only do it if you want the points.

up to +17 points

3 questions · under a minute · optional

Read the original

#computer-vision #robotics #edge-computing

Source: https://thenextweb.com/news/video-first-frontier-ai-physical-world-lumana. 8 Sync News only summarizes and links out; content copyright belongs to the authors and original sources.

Recommended for you

Bình luận

Đang tải bình luận…

Towards Data Science1 Hot16 min1 mo agoAI

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Alma Media phát triển một bộ phân loại hình ảnh riêng cho ảnh đăng bán bất động sản với 23 lớp phòng và nội dung, đồng thời đưa ra một khung quyết định để chọn giữa gọi API VLM hay huấn luyện mô hình riêng, chọn mô hình nền tảng và quyết định fine‑tune hay freeze backbone. Họ thực nghiệm trên tập dữ liệu riêng 40.000 ảnh, so sánh SigLIP freeze, DINOv2 freeze và SigLIP fine‑tune bằng LoRA, kết quả cho thấy LoRA nâng micro F1 từ 78,4% lên 82,6% và giảm tỷ lệ ảnh chưa gắn nhãn từ 9,4% xuống 3,4%, gần với mức cơ bản tự nhiên 3,9%. Lớp GARDEN nhận được tăng recall 26 điểm, trong khi việc đơn giản chuyển sang DINOv2 đã hồi phục hơn một nửa của khoảng cách này mà không cần fine‑tune. So sánh chi phí cho thấy việc sử dụng API VLM như Gemini tốn khoảng 1.500 USD cho mỗi triệu ảnh, natomiast bộ phân loại chạy trên GPU riêng chỉ tốn khoảng 0,37 USD cho cùng lượng ảnh, và việc thực hiện toàn bộ quá trình quét siêu tham số LoRA chỉ tốn khoảng 30 USD. Bài học là mặc dù fine‑tune có thể cải thiện chỉ số, nhưng việc lựa chọn mô hình nền tảng phù hợp và cân nhắc chi phí thường làm cho việc freeze backbone hoặc chuyển mô hình trở thành lựa chọn hiệu quả hơn.

Bài viết này cung cấp framework ra quyết định chi tiết và so sánh thực tế giữa việc fine-tune SigLIP, sử dụng DINOv2 hay gọi API VLM giúp lập trình viên tối ưu hóa lựa chọn mô hình hình ảnh với chi phí và hiệu suất tối ưu.

#deep-learning #computer-vision #lora Source

Why video is the first frontier as AI learns to read the physical world

What do you remember?

Recommended for you

Bình luận

Open Source Vacuum Avoids Cloud

How to Turn a RECIST Line into a 3D Tumor Segmentation Mask

Beam Bots

LLMs remember your code, not your life: Building a portable personal context layer

Building a Real-Time 3D Face Mask with MediaPipe, Threlte and Three.js

Mushroom hunting with LLMs: what can go wrong?

Why We Fine-Tuned SigLip (And Why That’s Not Always the Right Call)

Kubernetes at the edge has hit a wall. Fleet management is the way through.

One account, the whole ecosystem

8syncdev.com

Courses

Coding practice

IELTS

ZUS — AI IDE

mind0

AcoLeads