轻量级多模态推理的谱渐进思维流

多模态空间推理通常依赖于中间文本和视觉思维的长链，其中积累的视觉标记和密集的跨模态注意力会产生大量的计算和内存开销。为了应对这一挑战，我们提出了谱渐进思维流（SpecFlow），这是一种新颖的轻量级多模态空间推理框架，它表示固定大小的离散余弦空间中的中间视觉思维。通过利用强大的能量压缩，SpecFlow 保留了全局布局和关系结构，同时仅在需要提高空间精度时才引入高频细节。为了使视觉状态演变与语言意图保持一致，无分类器指导使自回归文本思维能够引导视觉工作空间/状态的基于流的更新，而无需扩展上下文。因此，SpecFlow 维护了一个有界的视觉工作空间，其更新仅取决于当前的视觉状态和累积的文本跟踪，从而实现了具有稳定延迟和独立于推理深度的内存使用的长视野推理。实证结果表明，SpecFlow 实现了具有竞争力或优越的推理性能，同时将计算和 KV 缓存成本降低了高达 2.1 倍。