From Noisy Queries to Precise Frames: Query Decomposition for Media Asset Search

Media asset search systems struggle when user queries mix structured metadata (episode, scene, shot IDs) with free-form visual descriptions, causing embedding dilution and false positives. A query decomposition pipeline splits each query into structured filter clauses and a clean semantic sub-query. Three extraction approaches are compared: Regex (zero latency, zero cost, brittle on typos), GPT-4.1/mini (robust rewriting, 4-5s latency, per-token cost), and fine-tuned entity extraction. Evaluation on 500 labeled queries shows that combining metadata filters with semantic sub-query retrieval nearly doubles Recall@5 from 27% to ~49%, versus raw query embedding alone. Regex achieves perfect structural extraction for well-formed inputs; LLMs handle typos and ambiguous token boundaries better. The recommended production strategy is Regex-first with an LLM fallback for edge cases.

Nguồn: https://devblogs.microsoft.com/ise/from_noisy_queries_to_precise_frames. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

InfoQ1 Hot4 phút2 ngày trướcAI

How HubSpot Scaled Semantic Search to 20 Billion Vectors

HubSpot đã mở rộng nền tảng Vector as a Service (VaaS) dựa trên Qdrant từ giai đoạn thử nghiệm lên 20 tỷ vector, phục vụ 38+ đội nhóm. Họ nâng cấp từ quản lý cluster thủ công bằng Helm lên Kubernetes Operator tùy chỉnh, tự động hóa shard, phục hồi replication và vòng đời cluster, giảm thời gian triển khai từ hàng giờ xuống vài phút. Hiện VaaS vận hành 200+ indexes, 140+ clusters trên 5 vùng, xử lý đỉnh 100.000 requests/giây cho các ứng dụng như agents, RAG và deduplication.

Lập trình viên cần đọc bài này để hiểu cách xây dựng và tối ưu hóa một hệ thống vector scaling hiệu quả trên Kubernetes, từ cơ sở hạ tầng đến quản lý trạng thái tự động, giúp giải quyết thách thức về hiệu suất và mở rộng cho ứng dụng AI như RAG và xử lý dữ liệu lớn.