论文

论自然语言人工智能解释中叙事性的重要性及评价

On the Importance and Evaluation of Narrativity in Natural Language AI Explanations

模型评测评测方法与指标

摘要

可解释的人工智能(XAI)旨在使机器学习模型的行为可解释,但许多解释方法仍然难以理解。将自然语言生成集成到 XAI 中的目的是以文本形式提供解释,使从业者更容易理解。然而,当前的方法主要产生特征重要性的静态列表。尽管这些解释表明了影响预测的因素,但它们并没有解释预测发生的原因。在这项研究中,我们借鉴了社会科学和语言学的见解,并认为 XAI 解释应该以叙述的形式呈现。叙事解释通过四个定义属性来支持人类理解:连续结构、因果机制、语言流畅性和词汇多样性。我们表明,仅基于标记概率或词频的标准自然语言处理(NLP)指标无法捕获这些属性,并且可以通过不传达解释性内容的同义反复文本来匹配或超过。为了解决这个问题,我们提出了七个自动指标,用于量化沿四个已确定维度的解释的叙述质量。我们在六个数据集上对当前最先进的解释生成方法进行了基准测试,并表明所提出的指标比标准 NLP 指标更可靠地将描述性解释与叙述性解释分开。最后,为了进一步推进该领域,我们提出了一套与问题无关的 XAI 叙事生成规则,用于生成自然语言 XAI 解释,以便生成的 XAI 叙事表现出更强的叙事属性,并与语言和社会科学文献的发现保持一致。