论文

低成本的基于概念局部化解释:免训练方法能走多远?

Low-cost concept-based localized explanations: How far can we get with training-free approaches?

模型评测评测方法与指标

摘要

基于概念的可解释AI(C-XAI)寻求锚定于语义概念的人类可理解解释——但验证受细粒度概念标注稀缺限制。我们评估中等规模多模态大语言模型(MLLM)能否在严格零样本条件下执行局部化概念命名——为对象与部件级边界框区域指派标签。我们提出可复现的零样本概念命名(CoNa)评估协议:(i) 面向中等词表的闭集、类别约束提示——(ii) 面向大标签空间、基于嵌入相似度的Open-CoNa。四个MLLM(7B-32B)的实验跨数据集展现一致性能趋势——对象级精确匹配准确率达62%-88%——凸显来自局部区域的免训练概念标注潜力。我们讨论局限与失败模式——并发布可复现框架支持未来低成本C-XAI研究。

低成本的基于概念局部化解释:免训练方法能走多远?:论文配图
图 1:视觉概念命名 (CoNa) 管道,封闭词汇设置。输入图像区域和预定义类别字典通过概念类别约束(封闭方法)提示构建器组合,该提示构建器制定结构化提示,限制 MLLM 从候选列表中准确选择一个标签。然后,MLLM 在允许的选项中生成最合适的概念名称,从而产生最终分配的标签。