用于流媒体视频理解的动态轮辐式内存

流媒体视频理解需要在不断增长的视觉流中在任意时间回答问题。核心挑战是紧凑地记住长期历史，同时有效地检索与问题相关的证据。我们提出了动态中心辐射型记忆（D-HSM），这是一种 无需训练 框架，它将遥远的历史表示为结构化文本记忆，同时保留最近的帧作为细粒度感知的视觉标记。具体来说，D-HSM 将选定的历史视频块转换为键入的文本观察，并将它们存储在以实体为中心的轴辐式存储器中，以实体为轴，相关证据为辐条。在回答问题时，D-HSM 动态检索紧凑的问题感知记忆子集，通过中心辐射型链接对其进行扩展，并将其与最近的视觉窗口相结合以进行冻结 VLM 答案预测。对流媒体和长视频基准的大量实验表明，D-HSM 持续且显着地改进了 VLM 主干，并优于其他最先进的在线和离线视频理解基准。