Đang tải bảng tin…
Towards Data Science0 Hot0 bình luận9 phút đọc
Loop Engineering for Hierarchical Retrieval: Reading a Long Document by Its Table of Contents
Enterprise RAG systems struggle with long documents where top-k vector search returns noisy, mixed results. This post presents a hierarchical retrieval approach that walks a document's table of contents top-down, one level at a time, using a bounded loop. Applied to NIST SP 800-53 (492 pages, 358-entry TOC), the router reads only 56 title lines across three LLM calls to pinpoint the exact 5-page section answering a query — instead of embedding all 492 pages. The loop has clear trigger, termination, and recovery conditions, handles both specific lookups and listing questions, and scales to multi-document corpora by adding one more level to the same routing step.
Nguồn: https://towardsdatascience.com/loop-engineering-for-hierarchical-retrieval-reading-a-long-document-by-its-table-of-contents. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.
Đề xuất cho bạn
InfoQ1 Hot4 phútAI
AlloyDB Ships Proxy Models That Replace LLM Calls with Local Inference Inside the Database
Google giới thiệu AlloyDB AI functions với hai kỹ thuật tăng tốc cho truy vấn SQL sử dụng LLM: smart batching (gọi model theo lô, đạt 10.000 rows/giây) và kiến trúc proxy model (huấn luyện model nhẹ trong database bằng PREPARE, chạy nội bộ tới 100.000 rows/giây, giảm 6.000 lần chi phí). Proxy model hiện ở chế độ preview cho ai.if, bổ sung thêm các hàm ai.summarize, ai.agg_summarize, ai.analyze_sentiment cùng MCP server quản lý cho AI agent. Các số liệu benchmark từ thử nghiệm nội bộ cần được xác thực thêm trước khi triển khai sản xuất.
