具有弹性测试时间训练的快速空间记忆

大块测试时间训练 (LaCT) 在长上下文 3D 重建方面表现出了强大的性能，但其完全可塑的推理时间更新仍然容易受到灾难性遗忘和过度拟合的影响。因此，LaCT 通常使用跨越整个输入序列的单个大块进行实例化，达不到单次处理任意长序列的更广泛目标。我们提出了受弹性权重合并启发的弹性测试时训练，该训练通过费舍尔加权弹性先验围绕维持的锚定状态稳定 LaCT 快速权重更新。锚点演变为过去快速权重的指数移动平均值，以平衡稳定性和可塑性。基于此更新的架构，我们引入了快速空间内存（FSM），这是一种高效且可扩展的 4D 重建模型，可以从长观察序列中学习时空表示并呈现新颖的观看时间组合。我们在大规模精选 3D/4D 数据上对 FSM 进行了预训练，以捕获复杂空间环境的动态和语义。大量实验表明，FSM 支持长序列的快速适应，并使用较小的块提供高质量的 3D/4D 重建，并减少相机插值捷径。总的来说，我们希望将 LaCT 推进到超越有界单块设置，转向稳健的多块适应，这是泛化到真正更长序列的必要步骤，同时大大缓解激活内存瓶颈。