论文
打破链条:LLM对中间结构忠实性的因果分析
Breaking the Chain: A Causal Analysis of LLM Faithfulness to Intermediate Structures
摘要
模式引导的推理流程要求大语言模型在做出最终决定之前生成明确的中间结构——标题、清单、验证查询。但这些结构是否因果性地决定了输出,或者仅仅伴随着它?我们引入了一种因果评估协议,可以直接测量:通过选择确定性函数将中间结构映射到决策的任务,每个受控编辑都意味着一个独特的正确输出。在八个模型和三个基准中,模型似乎与其自身的中间结构保持一致,但在高达 60% 的情况下进行干预后无法更新预测,这表明一旦中间结构发生变化,表面上的忠实度就会变得脆弱。当将结构中的最终决策委托给外部工具时,这种脆弱性基本上消失了;然而,要求将中间结构优先于原始输入的提示并不能实质性地缩小差距。总体而言,模式引导管道中的中间结构充当有影响力的上下文,而不是稳定的因果中介。
