Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning

Bối cảnh: Các mô hình ngôn ngữ đa phương tiện hiện đang xử lý video, nhưng các phương pháp hiện tại vẫn dựa vào Visual CoT bên ngoài, tức là việc tách rời việc suy luận hình ảnh và thời gian. Nguyên nhân kỹ thuật: Bài báo giới thiệu Internalized Visual Thinking, tức là việc tích hợp trực tiếp quy trình suy luận vào mô hình để dự đoán hành động trước khi xem toàn bộ video, giảm độ trễ và tăng tính chủ động. Hệ quả: Trên dữ liệu Something‑SomethingV2, độ chính xác cải thiện 3‑5% so với baseline Visual CoT và thời gian xử lý giảm khoảng 30%. Điều đáng học: Việc “internalize” reasoning cho phép mô hình dự đoán trước, mở ra khả năng áp dụng trong robotics và giao tiếp thời gian thực. Do đó, nếu bạn là lập trình viên cân nhắc đọc, bài này cung cấp ví dụ cụ thể về cách cải thiện Visual CoT bằng internalized reasoning, kèm mã và evaluation metrics chi tiết.