What Is My Model Actually Looking At? Explainability for a Hotspot Detector

Bối cảnh là bài viết giải thích cách hiểu được các bộ phát hiện hotspot - mô hình AI đưa ra kết quả với độ tin cậy 92% nhưng không rõ nó đang tìm kiếm gì. Nguyên nhân kỹ thuật là các mô hình deep learning thường hoạt động như hộp đen, khiến việc hiểu cách chúng đưa ra quyết định trở nên khó khăn. Hệ quả là người dùng không thể xác minh tính chính xác của các phát hiện này, đặc biệt trong các lĩnh vực quan trọng như an ninh hay y tế. Điều đáng học là bài giới thiệu các công cụ explainability như SHAP và LIME giúp làm rõ các vùng ảnh hưởng quan trọng nhất của mô hình, từ đó tăng cường độ tin cậy vào kết quả.