论文
GS-Pool:3D 高斯泼溅中的对象级变化检测
GS-Pool: Object-Level Change Detection in 3D Gaussian Splatting
摘要
工厂、博物馆和测量员相隔数月拍摄同一空间,需要知道哪些物体发生了变化。当使用 3D 高斯分布 (3DGS) 重建每次访问时,两次重建的直接比较并不能回答这个问题。 训练是随机的,因此对未改变的空间的两次重建永远不会重合,并且第二次访问通常是使用少得多的照片进行快速重新扫描。我们提出了 GS-Pool,它采用同一空间的两个独立重建的高斯场,并返回每个中更改的对象及其掩模。每次访问照片的 SAM2 掩模都会提升到渲染它们的高斯模型上,并合并到对象池中,因此每个决策都会针对 3D 中的每个对象做出一次。我们引入了一种摄影载体,即每次输入重建相对于其他访问的照片的 3DGS 训练损失,反向传播到渲染每个像素的高斯。我们将其与 GS-Diff 的几何和颜色术语以及我们提炼的 DINOv3 特征相结合。该证据与两次访问中出现的物体的证据进行比较,这为每个场景设置了变化阈值。在 PASLCD 上,GS-Pool 的 mIoU/F1 分数为 0.751/0.846,而 GS-Diff(最强的现有方法)的 mIoU/F1 分数为 0.644/0.758,增益为 17%/12%。其mIoU也比O-SCD、PlenoCI和MV-3DCD高36%、40%和57%,并且在CL-Splats上达到0.855 mIoU,比MV-3DCD高33%。每个更改的对象都会以一组高斯函数的形式返回,并附有其决定背后的证据,检查员可以在 3D 中查看这些证据。