论文

THOR:用于多跳 QA 的 Theta-Gamma 分层振荡推理框架

THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA

模型推理推理策略与问题分解

摘要

多跳问答需要检索和整合来自多个上下文的证据。尽管当前研究进展迅速,多跳推理仍然受到两个持续存在的限制:注意力衰减(随着推理链的增长,模型对主要问题的关注度降低)和错误累积(错误跨跳传播并复合成最终失败)。受 Theta-Gamma 分层振荡的启发,Theta-Gamma 分层振荡将全局规划与局部检索分离,实现跳跃之间的有效注意力转移,以及中断错误路径中错误累积的验证和修复机制,我们提出了 THOR,一种受大脑启发的 Theta-Gamma 分层振荡推理框架。在多跳 QA 基准上进行的广泛比较实验和具体验证实验表明,THOR 提高了答案的准确性和鲁棒性,同时减轻了限制,展示了其在不同骨干网中的泛化能力。