超越检索：流视频理解的渐进式潜在记忆进化

流视频理解需要多模态 大语言模型 (MLLM) 来处理连续的视觉输入并在严格的因果关系和有限内存下响应用户查询。现有的方法通常将历史观察结果压缩到外部存储库中，并检索与查询相关的证据作为附加的视觉上下文。虽然有效，但这种存储和检索范式将历史证据保留为外部视觉上下文，防止其内化为紧凑的、不断发展的潜在记忆，从而持续指导流式推理。为了弥补这一差距，我们引入了 LatentStream，这是一种渐进式潜在工作记忆框架，它将流式内存从存储和检索转变为检索和内化。具体来说，LatentStream 包含三个协调的组件。首先，与查询无关的分层流式内存通过 Jenks 引导的自适应整合，在固定内存预算下将视觉历史组织为短期、中期和长期级别。一旦查询到达，分层潜在记忆进化就会为潜在记忆标记组配备逐渐扩展的记忆接受域，使它们能够从相应的范围中迭代地检索历史证据，并将其内化为紧凑的、固定长度的潜在记忆。最后，渐进信心引导的潜在记忆优化从分组预测熵构建了分层进展奖励，并共同细化潜在记忆标记和检索的证据，鼓励越来越自信的流式推理。大量实验表明 LatentStream 在现有在线和离线视频基准测试中取得了最先进的结果。