平衡记忆路径：混合语言模型的记忆利用分析与改进

循环注意力混合语言模型（LM）将注意力层和循环层交错在一起，越来越多地用于将循环层的效率与注意力层的强大性能结合起来。先前的工作表明，注意力层和循环层提供了使用过去信息的互补途径：注意力支持早期token中的精确记忆提取，而循环层支持在长上下文中整合不同信息。然而，我们观察到，简单地访问这两种途径并不意味着混合语言模型正在有效地使用它们。我们发现他们更多地依赖于注意力而不是循环状态。标准监督的微调提高了整体性能，但没有改善两个记忆路径的协调方式：模型变得更加依赖于注意力层传播的信息，而其对循环层传播的信息的使用仍然有限。为了鼓励两个记忆路径之间更好的协调，我们添加了一个辅助损失，限制注意力访问早期上下文，同时循环状态在整个序列中传播。这一目标鼓励模型通过循环路径和注意力来保留和使用信息。它提高了整体性能，特别是在涉及较长上下文或需要信息聚合的任务上获得了特别显着的收益，这与分析中观察到的循环层的优势一致。至关重要的是，这种不平衡和我们辅助损失的好处是普遍化的：它们适用于问答和Agentic任务中的多个循环注意力 LM，以及结合了不同形式的记忆的基于注意力的 LM。总之，我们的研究结果表明，简单地提供多个记忆途径并不能确保它们的有效使用，并且需要有针对性的监督来更好地协调它们。