沙丘社区
论文

Rule of Thumb：用部分信息解释人工智能系统

Rule of Thumb: Explaining Artificial Intelligence Systems using Partial Information

Kaivalya Rawal; Daria Onitiu; Brent Mittelstadt; Sandra Wachter; Chris Russell
模型评测模型行为与机制分析

摘要

可解释人工智能（XAI）旨在解释人工智能（AI）系统如何得出特定决策。我们提出“Rule of Thumb”（RoT）解释，一种新的XAI方法，其基于一种新颖的形式化：针对特定数据点，识别对预测AI系统行为最相关的特征。我们展示了RoT如何适合在以下场景实现XAI：(a) 使用大语言模型（LLM）的零样本分类；(b) 在没有模型访问权限的情况下审计不透明的AI系统；(c) AI在科学发现中的应用。此外，RoT满足主流AI法规的特定要求，为XAI从业者提供熟悉的界面与可视化，与模型无关，且比替代方法快得多。代码见：https://github.com/KaiRawal/Rule-of-Thumb-Explaining-Artificial-Intelligence-Systems-using-Partial-Information

Rule of Thumb：用部分信息解释人工智能系统：论文配图
(a) GPT-4o-mini分类标签‘Cat’的RoT解释(b) GPT-4o-mini分类标签‘Dog’的RoT解释(c) 同时含两类的图像的RoT解释(d) GPT-4o-mini分类标签‘Cat’的RoT解释(e) GPT-4o-mini分类标签‘Dog’的RoT解释(f) 两类均不含的图像的RoT解释。图1：通过OpenAI GPT-4o-mini API执行零样本图像分类的局部特征重要性示例。模型被提示对来自公开数据集[3]的宠物图像执行零样本分类，标签为‘Cat’和‘Dog’。RoT被编排为对指示‘Cat’的输入特征产生正重要性（红色高亮），对指示‘Dog’的特征产生负重要性（蓝色高亮）。RoT解释可以在不访问模型权重的情况下计算，并能正确处理GPT-4o-mini与所提供标签不一致的情况（(c)和(f)）。此处解释表明：在(c)中两类都能找到支持区域，而在(f)中没有区域显著支持任何一类。