通过注意力感知干预改进面向逻辑推理的思维链

大语言模型的现代逻辑推理主要依赖于采用复杂的交互式框架，该框架将推理过程分解为通过精心设计的提示解决的子任务，或需要外部资源（例如符号求解器）来利用其强大的逻辑结构。虽然交互式方法会带来额外的开销，但混合方法依赖于外部组件，这限制了其可扩展性。非交互式的端到端框架使推理能够在模型本身中出现——提高泛化性，同时在没有任何外部资源的情况下保持可分析性。在这项工作中，我们引入了一种用于推理任务的非交互式端到端框架。我们表明，将结构信息引入到几次提示中会激活注意力头的子集，这些注意力头的模式与逻辑推理运算符一致。基于这一见解，我们提出了注意力感知干预（AAI），这是一种推理时间干预方法，可以重新衡量由逻辑模式识别的选定头部的注意力得分。 AAI 提供了一种有效的方法来引导模型的推理通过注意力调节来利用先验知识。大量实验表明，AAI 增强了跨不同基准和模型架构的逻辑推理性能，同时产生的额外计算开销可以忽略不计。代码可在 https://github.com/phuongnm94/aai_for_logic_reasoning 获取。