HPFA：基于超图的LLM推理配对失效归因

反射是LLM推理的强大机制，但其有效性依赖于准确地将失败归因于特定的推理步骤，而当前模型明显缺乏这一能力。现有的失败归因方法要么需要昂贵的一步到位的反事实测试，其性能随轨迹长度而恶化，要么将推理轨迹视为平滑序列，忽略其内在的非线性逻辑依赖关系。我们提出了一种基于超图的配对失败归因框架（HPFA），通过比较目标失败推理路径的超边与参考成功的路径，来定位失败的根本原因。通过减少搜索空间，我们的方法高效地定位了根本原因，并通过监督微调和强化学习训练轻量级的归因模型，实现了对训练数据的合成。在数学推理和代理编程任务上的实验结果表明，HPFA可以显著提高归因精度和效率，训练后的归因器在测试时间表现出色，超越了缺乏图结构或配对分析的基准。