我以前见过这个吗？用于自我中心助理中复杂查询的空间基础会话记忆

以自我为中心的助手必须将用户所说的与他们在长期交互历史中看到的联系起来。我们将这一挑战形式化为基于空间的对话推理（SpaCR）：跨场景、面向召回率的反事实空间查询，将用户陈述的事实与几何证据相结合。随着历史的增长，直接视觉语言模型会产生较高的推理成本和上下文限制，而关键帧选择和检索可能会忽略完整召回率所需的对象或证据。我们提出了空间视觉定位会话记忆 (SpaC-MEM)，这是一种以对象为中心的工作记忆，它使用 3D 重建和分割来将会话信息视觉定位到持久的物理对象中。它压缩多模态历史，同时保留空间证据并允许通过对话更新特定对象的事实。我们还推出了 Ego-SpaCR，这是一个基准测试，由 620 个 ScanNet 视频会话组成，并辅以 95 个面向任务的对话和 3,100 个评估查询。 SpaC-MEM 在评估的方法中实现了最高的总体答案准确性，并改进了对象召回率，同时需要比本机视频基线少得多的参考输入token。删除 3D 空间信息会显着降低性能，凸显了同时保留空间和对话证据的重要性。