Validating the RAG Answer Before the User Sees It: Spans, Quotes, and the Feedback Loop

Post-generation validation is the missing layer in most RAG pipelines. After a typed answer is returned by the LLM, a validator checks three things: shape (does the answer match the requested schema), evidence (are span line numbers valid and quotes verbatim substrings of cited lines), and format (ISO dates, ISO currency codes). Three recurring quote-check failure modes are documented: whitespace/bibliographic-ref normalization, adjacent-line off-by-one errors, and truncated multi-line spans. 'Not found' is treated as a first-class output with explicit schema support, and shape mismatches are handled via explicit NA with caveats rather than silent downgrade or phantom defaults. Citations are lifted to PDF bounding boxes via a post-generation join on the parsed line_df. Feedback loops close the pipeline: complete_answer_found=False triggers retrieval expansion, context_structured=False triggers re-parsing, conflicting_evidence=True surfaces the conflict to the user, and llm_discovered_keywords enrich a long-term concept keyword table. A real-world story shows how adding verbatim quote validation dropped a 12% paraphrase rate to 0.3% without changing the model. Common anti-patterns are catalogued: loose schemas, skipping validation in production, trusting confidence scores, boilerplate system prompts, non-zero temperature, no token budgeting, and no feedback fields.

Nguồn: https://towardsdatascience.com/validating-the-rag-answer-before-the-user-sees-it-spans-quotes-and-the-feedback-loop. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Real Python1 Hot15 phút2 giờ trướcAI

Python's JIT Faces Some Challenges and Other News for July 2026 – Real Python

Hội đồng điều hành Python đã giao nhiệm vụ cho trình biên dịch JIT thử nghiệm của CPython phải hoàn thành PEP theo tiêu chuẩn trong vòng sáu tháng hoặc bị loại khỏi nhánh chính. Python 3.15 đã đạt đến beta 2 và 3 với bộ tính năng cố định, trong khi PSF công bố kế hoạch chiến lược 2026 nhấn mạnh vấn đề tài chính. Ngoài ra, nhiều bản cập nhật thư viện quan trọng như Django, scikit-learn, Polars cùng các công cụ AI liên quan đến "context rot" trong phiên làm việc dài cũng được đề cập.

Lập trình viên nên đọc bài này để cập nhật về tiến trình phát triển và các rủi ro của JIT trong CPython, từ đó đánh giá tầm nhìn dài hạn của Python trong tương lai và lựa chọn công cụ phù hợp cho dự án của mình.