跳出框框思考：滑动窗口 KV 推理中信息的保留和传输

滑动窗口 KV 推理是指增量处理序列，同时仅保留最近键和值状态的固定大小缓存。它可以在推理时应用于预训练的因果变换器，无需额外训练，而随着更多词元的处理，其 KV 缓存内存保持固定。由于缓存状态是在早期词元的上下文中计算的，因此它们可能携带当前窗口之外的信息并将其传输到后面的状态。本研究提出了一系列使用 Qwen、Llama、Mistral 和 Muse Glimmer 等五个开放权重模型的实验。我们研究源自直接上下文窗口之外的信息是否可以通过滚动 KV 缓存持续存在并仍然对检索有用。初步结果表明，与从原始标记重新计算最终固定窗口相比，保留先前计算的状态可以改善测试模型的检索。然后我们测量这种效应延伸的程度，发现 Muse Glimmer 和 Mistral 7B 显示出最强的 \emph{潜在信息中继}：即使相关源词元离开缓存，它们也可以恢复信息。这两种模型都在其发布的架构中纳入了滑动窗口注意力，这种关联激发了测试滑动窗口训练是否可以促进更可靠的信息保留。