论文

TRACE:基于跨层证据的轨迹校正以减少幻觉

TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction

模型推理推理验证与自校正

摘要

幻觉校正不是一个单方向问题。我们表明,中间层既不比最终层普遍更真实,也不普遍更不可信。然而,幻觉缓解通常以单一固定的干预形式实现:将一层与另一层对比、沿真实性方向引导,或求助于外部证据。这种框架在结构上是不完备的。跨层事实证据的演化并不一致:在某些失败中,真实支持在内部存在但随后被抑制;而在另一些失败中,候选竞争在整个深度上确实保持多方向性,因此任何单一的有符号标量族都不具普遍充分性。我们提出TRACE(Trajectory Correction from Cross-layer Evidence for Hallucination Reduction,基于跨层证据的幻觉缓解轨迹校正),一种确定性的免训练算法,它在LLM自身前向传播内部,从每个输入的跨层候选轨迹中同时推导出校正层与合适的校正算子,从而在推理时校正幻觉。在一组冻结的超参数设置下,TRACE仅利用模型内部证据在标量反转、更早状态恢复和候选空间校正之间进行选择。作为单一通用算法在15个模型、8个模型族和3个事实性基准上评估,TRACE改进了每一个评测单元,平均带来+12.26 MC1分和+8.65 MC2式分的提升且无任何回退,最大提升达+47.20 MC1和+43.38 MC2式分。该方法不使用标签、检索、预训练、微调或逐模型校准。