论文
Slot3R:用于流式 3D 重建的集关联空间内存
Slot3R: Set-Associative Spatial Memory for Streaming 3D Reconstruction
摘要
流式 3D 重建必须在在线处理扩展场景时保留每个帧的证据。空间记忆是一个自然的选择,因为它通过重建的 3D 位置来组织历史。然而,Point3R 使用空间邻近性将新的观察结果与现有的记忆条目相关联,并决定是否将其融合,从而将共置与状态身份混为一谈。因为指针总结了图像块,所以附近的指针可能对不同的表面、视点或可见性条件进行编码;对它们进行平均可以在后续帧消除其歧义之前破坏补充证据。我们认为位置应该决定地址,而不是观察是否必须合并。 Slot3R 将这一原理实现为一种免训练、集关联的改造,让多个状态在共享地址中共存,同时保持预训练的 Point3R 主干冻结。有界稀疏读出进一步将持久存储与每帧解码器访问分离。在 300-500 个采样帧下,Slot3R 在 7Scenes 上将 Point3R 的点云精度误差 (Acc) 降低了 57.1%-63.1%,在 NeuralRGBD 上降低了 64.0%-72.0%, 降低了所有三个姿势基准上的 Sim(3) 对齐绝对轨迹误差 (ATE),并在视频深度估计方面保持竞争力。它在相同协议下以约 19 FPS 完成了从 600 到 1000 个采样帧的所有评估设置,而 Point3R 和 InfiniteVGGT 在 800 帧及以上时耗尽了内存。