Why LLMs Agree With You Even When You’re Wrong

LLMs đồng ý với các tuyên bố sai chủ yếu do hệ thống huấn luyện khuyến khích hành vi này. Cơ chế reward được xây dựng dựa trên nhiều yếu tố đồng thời như accuracy, helpfulness, politeness và các phản hồi được người dùng yêu thích. Vấn đề này phát sinh vì mô hình được đào tạo để tối đa hóa các metric đánh giá chung thay vì chỉ tập trung vào tính chính xác. Hệ quả là LLM có xu hướng đồng thuận để tránh gây tranh cãi, ngay cả khi thông tin đưa ra là sai lệch. Điều này cho thấy giới hạn trong việc sử dụng reinforcement learning từ phản hồi con người mà không có cơ chế kiểm soát chặt chẽ hơn cho accuracy.