Loop Engineering for RAG Generation: An LLM Cascade from a Cheap Local Model Up to a Hosted Flagship

Bài viết hướng dẫn thiết kế hệ thống LLM cascade cho RAG, sử dụng mô hình local giá rẻ xử lý hầu hết yêu cầu và chuyển lên mô hình flagship hosted khi kiểm chứng thất bại. Nghiên cứu trên 20 mô hình local cho thấy số lượng tham số không quyết định độ chính xác, từ vựng prompt (glossary injection) là yếu tố quan trọng nhất, và hệ thống có hai cơ chế thoát khi thất bại: nâng cấp mô hình hoặc chia nhỏ tác vụ thành các bước mã code xác định. Ba tiêu chí điều phối — bảo mật, độ tin cậy đầu ra có kiểu dữ liệu, và độ phức tạp chuyển đổi — quyết định mô hình khởi đầu, trong khi vòng lặp kiểm chứng giới hạn ngăn chặn câu trả lời sai được triển khai.