SLAARM：动态场景的流媒体和语言对齐重建模型

我们提出了 SLAARM，一种将动态场景重建、语义理解和实时流推理相结合的前馈模型。 SLAARM 通过高阶运动建模捕获复杂、不均匀的运动，仅在可微分渲染上进行训练，无需任何流监督。此外，SLAM 从 LSeg 中提取语义特征以获得语言对齐的表示。这种设计实现了通过自然语言进行语义查询，语义和几何之间的紧密耦合进一步增强了动态重建的准确性和鲁棒性。此外，SLAARM 使用基于窗口的因果注意力处理图像序列，实现稳定、低延迟的流式推理，而无需积累内存成本。在这个统一的框架内，SLAM在动态估计、渲染质量和场景解析方面取得了最先进的结果，与现有方法相比，运动精度提高了21%，重建PSNR提高了1.6 dB，分割mIoU提高了20%。