检索增强语言模型中忠实来源解释的言外解释规划

大语言模型 (LLM) 生成的自然语言解释通常具有说服力，但不一定易于理解：用户无法轻松验证解释中的主张是否有证据支持。在 XAI 中，这激发了对 忠实性 和可追溯性的关注，即解释的主张可以基于并追溯到明确来源的程度。我们在编程教育的检索增强生成（RAG）中研究这些需求，教科书提供了权威的证据。我们在基于三本编程教科书的 90 个 Stack Overflow 问题上对 6 个 LLM 进行了基准测试，并通过源代码遵守指标对源 忠实性 进行了量化。我们发现非检索增强生成 (RAG) 模型的中位源依从性为 0%，而基线 RAG 系统仍然表现出较低的中位依从性（22-40%，具体取决于模型）。受阿钦斯坦的言外解释理论的启发，我们引入言外宏观规划作为忠实来源解释的描述性设计原则，并用言外提示链（CoI）实例化它，它将查询扩展到驱动检索的隐式解释问题。在各个模型中，CoI 在源依从性方面产生了统计上显着的收益（高达 63%），尽管绝对依从性仍然中等，并且对于某些模型来说收益较弱或不显着。一项针对 165 名保留参与者（招募了 220 名）的用户研究表明，这些收益不会损害满意度、相关性或感知正确性。