FACT-E：面向可信思维链推理的因果启发式评估

摘要

思维链（Chain-of-Thought，CoT）提示提升了LLM的推理能力，但模型生成的解释往往看似连贯，却包含不忠实的中间步骤。现有自评估方法容易受固有偏差影响：即使逐步蕴含并不成立，模型也可能自信地认可连贯性，导致忠实性评估不可靠。我们提出FACT-E，一个受因果启发的CoT质量评估框架。FACT-E使用受控扰动作为工具性信号，将真实的逐步依赖与偏差驱动的伪影区分开，从而产生更可靠的忠实性估计（链内忠实性，intra-chain faithfulness）。为选择可信的推理轨迹，FACT-E联合考虑链内忠实性与CoT到答案的一致性（CoT-to-answer consistency），确保所选推理链既在内部忠实，又支持正确的最终答案。在GSM8K、MATH和CommonsenseQA上的实验表明，FACT-E改善了推理轨迹选择，并产生更强的上下文学习（in-context learning）示例。FACT-E还能在噪声条件下可靠地检测有缺陷的推理，为可信LLM推理提供了一个稳健的度量。

FACT-E：面向可信思维链推理的因果启发式评估：论文配图 — 图 1：说明 LLM 自我评估对 CoT 评估的局限性的激励示例。两条推理链看起来流畅且连贯，但 CoT 1 包含连续的中间步骤，这些步骤在逻辑上对于后续推理来说并不是必需的。传统方法（例如自我反思）为两条链分配相似的高质量分数，无法检测到这种故障，而 FACT-E 评估一条链中的不忠实性并成功地将 CoT 2 识别为更值得信赖。