纪念品：用于长视距视频生成的选择性空间记忆

长视距摄像机控制的视频生成依赖于持久的记忆来保持场景一致性。现有系统遵循两种策略来实现这种一致性。全历史方法保留所有生成的观察结果，导致无限的存储和检索成本。选择性构建方法减少了冗余，但做出了一次性保留决策，并且永远不会重新访问，即使观察值的值随着记忆库的不断发展而变化。这两种策略都留下了一个未解决的共同问题：随着生成的历史的发展，哪些存储的观察结果仍应保留在记忆中？我们的主要见解是，存储的观察值的价值不是固定的，而是相关的：它取决于记忆银行中当前可用的替代方案。由许多几何和视觉上相似的替代品支持的视图可以被放弃，而覆盖范围几乎没有损失，而几乎没有可行替代品的观察应该保留，无论年龄如何。我们推出 Keepsake，这是一种用于固定容量空间记忆的在线无需训练控制器。每次更新时，Keepsake 都会根据保留的和新生成的观察结果构建姿势外观图，将相机姿势接近度与视觉相似性相结合。保留优先级共同捕获强替代品的数量和最接近替代品的相似性，使 Keepsake 能够不断重新评估记忆价值，保留几乎没有替代品支持的观察结果，并在固定预算下驱逐高度可替代的观察结果。控制器仅修改持久-记忆更新；主机生成器、去噪时间表和检索规则保持不变。在 MemCam 和 WorldMem 中，Keepsake 在固定的记忆预算下改进了 FVD 和 LPIPS。在 180 秒的 MemCam 轨迹上，它仅保留了 5,397 帧中的 32 帧，同时 FVD 降低了 35.1%。