NemoSplat：用于媒体感知水下重建的前馈 4D 高斯泼溅

摘要

由于严重的媒体引起的光散射和不可预测的动态物体，在无约束的水下环境中重建逼真的场景仍然具有挑战性。最近的前馈视觉基础模型在广义新颖视图合成和跟踪方面表现出了卓越的能力。然而，当直接应用于水生视频时，光学衰减和运动干扰会致命地破坏其特征聚合，导致严重的跟踪和重建失败。为了克服这些限制，我们推出了 NemoSplat，这是第一个前馈 4D 高斯 Splatting 框架，专为直接从未经校准的海洋视频进行媒体感知动态重建而定制。除了提供对相机姿势和密集场景深度的稳健估计之外，我们还设计了一种即时动态解缠器，它利用学习动态概率和可选语义文本先验的置信感知融合策略，有效地隔离大量瞬态实体。此外，为了抵消视觉退化，我们制定了媒体感知高斯预测器来联合估计固有的 3D 高斯属性以及物理媒体参数，从而在单个前向传递中呈现原始场景外观。此外，我们引入了具有大量动态元素的大型水下数据集，以方便训练和评估。对我们的数据集进行的大量实验表明，NemoSplat 实现了最先进的跟踪精度和高保真度渲染。主页：https://nemosplat.hkustvgd.com