Implementing a Siamese Network with Contrastive Learning

LLMs Are Not (Consistently) Bayesian: Quantifying Internal (In)consistencies of LLMs’ Probabilistic Beliefs

Bối cảnh: Các hệ thống AI hiện đại được triển khai trong lĩnh vực y tế, khoa học và pháp lý nơi thường không có câu trả lời duy nhất đúng. Nguyên nhân kỹ thuật: Nghiên cứu chỉ ra rằng các Large Language Models (LLMs) như GPT-4 không nhất quán khi tính toán xác suất nội tại, cho thấy sai lệch khoảng 15-25% trong các câu hỏi trắc nghiệm đơn giản. Hệ quả: Sự không nhất quán này làm giảm độ tin cậy của các mô hình khi đưa ra dự đoán trong các lĩnh vực quan trọng yêu cầu độ chính xác cao. Điều đáng học: Các nhà phát triển cần hiểu rõ giới hạn về mặt xác suất của LLMs để thiết kế cơ chế dự phòng hoặc làm việc với các mô hình ít biến thiên hơn trong các ứng dụng quan trọng.