论文

记忆并非总是必需:刻画科学推理中的条件记忆

Memory Is Not Always Needed: Characterizing Conditional Memory in Scientific Reasoning

上下文与知识记忆Agent记忆

摘要

科学推理要求语言模型检索专门知识并将其可靠地纳入多步计算。条件记忆提供了一条显式查找路径,补充稠密神经表示,但其有用性本质上依赖于输入和计算:检索到的信息可能修复缺失的科学关联,但也可能引入分散注意力的捷径,或干扰基模型已能正确执行的推理。在这项工作中,我们系统地研究条件记忆何时、何地以及应在多大程度上参与科学推理。我们刻画科学知识边界,并对启用记忆的知识回路节点进行受控干预。基于这些分析,我们提出知识边界感知路由器(Knowledge Boundary-Aware Router),它使用生成之前即可获得的任务特定输入代理,来决定是否激活记忆、哪些层阶段节点接收记忆信号、以及这些信号贡献多强。在生物和化学推理基准上的实验,覆盖两个骨干家族和六种任务类型,表明记忆效果在输入、任务和注入位置之间变化很大。与静态路由和激活率匹配的随机路由相比,我们的方法更一致地保留有益的记忆贡献,同时抑制记忆引起的退化,确立了选择性记忆分配作为可靠科学推理的一个重要原则。

记忆并非总是必需:刻画科学推理中的条件记忆:论文配图
图1:左:条件记忆是一种模型内部的查找-注入机制:记忆模块被置于Transformer计算之中。右:即便在知识密集型科学推理任务上,记忆产生的效果也是好坏参半而非一致提升,这促使我们采用选择性激活。