请记住：以自我为中心的视频流中以用户为中心的持续空间智能推理

我们引入了 UCS-Bench，这是一个涵盖 170 多个小时的以自我为中心的视觉观察的数据集，其中包含 8,100 个以上带有时间戳的问题，用于诊断以自我为中心的视频流中的以用户为中心的持续空间智能。 UCS-Bench 针对一个新问题，强调动态空间推理、长期记忆及其与用户实时位置的对齐。我们提出了 DirectMe，这是一个通过流式自我中心观察逐步构建和维护结构化空间记忆的框架。 DirectMe 能够稳健地跟踪和调用对象位置，所有这些都与用户随时间的移动有关。通过将视觉感知与记忆更新和空间推理紧密耦合，我们的方法支持需要回忆交互、解决视点引起的歧义以及适应动态场景的长视野查询。我们的实验表明，DirectMe 显着提高了领先的多模态 LLM 的空间推理能力；它还超越了许多空间感知和长格式流视频模型。我们希望我们的基准和解决方案能够推进以自我为中心的人工智能助手的空间智能研究。数据和代码可在 https://github.com/cocowy1/UCS-Bench 获取。