DynStream：从未标定视频流在线重建动态四维场景

摘要

从长的、未摆姿势的流视频中在线重建动态 4D 场景需要连续处理和照片级真实感渲染，而现有方法很难同时实现这一点。现有的前馈高斯方法仅限于离线处理，而在线点云方法则难以维持密集的几何形状和高保真度渲染。我们提出了 DynStream，一个用于从长的、未摆姿势的视频中进行流式 4D 高斯重建的框架。给定连续视频流，DynStream 在局部时间窗口内重建场景，并增量地将这些局部重建对齐并融合到全局一致的场景中，从而无需按场景优化即可实现在线 4D 重建。通过联合实施跨窗口几何一致性和对时变场景内容进行建模，DynStream 支持扩展视频流上的高效重建和真实感渲染。实验表明，DynStream能够对长视频流进行高保真在线动态重建和渲染，实现在各种动态室内和室外场景中提供最先进的性能。

DynStream：从未标定视频流在线重建动态四维场景：论文原图 — 图 2：DynStream 概述。输入的视频流按固定长度的块顺序进行处理。对于每个块，因果流主干预测关键帧相关的相机姿势、局部高斯场景和时变高斯基元。局部场景与全局坐标系对齐，并与先前重建的场景增量融合，形成持久的全局表示。时变高斯保留其时间关联，并且仅在相应的时间合并到全局场景中。这种设计能够连续重建和渲染长动态视频流，同时保持全局一致的静态几何形状和时间连贯的动态内容。