4D 基础模型能记住吗？

感知和记住视觉世界是导航和与环境互动的基础。当前的 4D 基础模型，例如摄像机控制的视频模型或 4D 重建模型，可以感知和重建动态环境，但它们对所感知到的内容的记忆程度如何仍然是一个悬而未决的问题。现有的基准在很大程度上依赖于像素级指标，一旦物体离开视野，就缺乏物体的基本事实，使得它们无法以以物体为中心的方式对照参考来评估视觉记忆。为了填补这一空白，我们引入了 PersistBench，这是一个数据集和指标套件，利用 360° 视频作为全知的地面事实，并提出了三个评估方面：对象持久性、运动连续性和外观保留。评估不同类别的各种模型表明，当前模型只能保持短期一致性，一旦物体离开视野，这种一致性就会显着降低。我们的研究结果强调了当前模型能力和强大的视觉记忆（“看到并不记住”）之间的差距，为 4D 基础模型的未来开发提供了指导。数据集和代码可在项目页面获取：https://guangzhaohe.com/persistbench。