位置重新绑定缓存重用：交错多模态推理的无重放视觉重访

交错多模态推理通过在多步骤生成过程中重新审视视觉证据来改善视觉证据依赖，但现有方法通常依赖于词元重放，重复转发选定的视觉词元。一个自然的捷径是直接重用历史视觉键值（KV）缓存。然而，我们确定了该策略的一个关键故障模式：缓存的视觉键已经绑定到其原始位置上下文。这种陈旧的位置绑定会扭曲稍后解码上下文中的注意力，并可能引发严重的自回归解码崩溃。这一失败表明，有效的缓存重用需要在与当前解码状态兼容的位置下重建视觉证据，而不是直接复制位置绑定的历史缓存条目。为此，我们提出了位置重新绑定缓存重用（PRCR），这是一种用于无重放视觉重访的缓存级框架。 PRCR 将原始视觉 KV 缓存与其原始空间坐标一起存储，然后重新分配位置兼容的坐标以选择条目并重新绑定它们的键，然后将重建的缓存注入活动解码器缓存。该设计重复使用历史视觉证据，同时保留文本位置连续性和相对视觉结构。跨多个多模态推理基准的实验表明，PRCR 实现了重放级别或更好的性能，将平均准确度提高了 5%，并将视觉重访计算减少了数万次。