A Three-Phase Factual Recall Circuit in Gemma-2B and Gemma-12B-IT

An empirical mechanistic interpretability study of factual recall in Gemma-2B and Gemma-12B-IT using activation patching. The research identifies a consistent three-phase circuit: Phase 1 (Storage) encodes facts as directions in the residual stream at the entity token position in early-to-mid layers, with the residual stream contributing 40× more causally than attention outputs. Phase 2 (Routing) moves the signal to the final token position via distributed attention heads with no single dominant head. Phase 3 (Readout) retrieves the answer in late layers without additional computation. The pattern replicates proportionally at the 12B scale, with routing becoming even more distributed. The study also highlights tokenizer-induced dataset drift as a methodological concern for cross-model comparisons, and proposes path patching and SAE analysis as natural next steps.

Nguồn: https://towardsdatascience.com/a-three-phase-factual-recall-circuit-in-gemma-2b-and-gemma-12b-it. 8sync News chỉ tóm tắt và dẫn link; bản quyền nội dung thuộc tác giả và nguồn gốc.

Đề xuất cho bạn

Towards Data Science130 phút6 giờ trướcAI

Letting an LLM Pick the Right RAG Page: The Arbiter Pattern at the End of Retrieval

Bài viết giới thiệu "Arbiter Pattern" trong RAG, nơi LLM đóng vai trọng tài bằng cách phân loại và đánh giá các nguồn tài liệu ứng viên dựa trên cấu trúc dữ liệu đầu vào, thay thế phương pháp kết hợp điểm số truyền thống. Tác giả nhấn mạnh embeddings nên là phương pháp cuối cùng trong tài liệu doanh nghiệp do hạn chế trong việc xác định sự vắng mặt của thông tin, trong khi keyword retrieval cung cấp khả năng phủ định chắc chắn. Ngoài ra, bài viết đề cập đến bộ chọn phương pháp truy xuất theo loại câu hỏi, lược đồ JSON thống nhất cho kết quả truy xuất nhằm đảm bảo khả năng kiểm tra, và tầm quan trọng của xử lý "không tìm thấy" đáng tin cậy trong ngữ cảnh tuân thủ quy định.

Một lập trình viên cần đọc bài này để tìm hiểu cách tối ưu hóa hệ thống RAG bằng cách áp dụng —một giải pháp linh hoạt hơn fusion score, giúp xử lý các trường hợp phức tạp trong việc lựa chọn kết quả phù hợp từ nhiều nguồn thông tin khác nhau.