论文
RealityBridge:桥接可编辑 3D 高斯飞溅驾驶模拟和真实视频
RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos
摘要
长尾危险场景对于安全自动驾驶至关重要,但难以大规模收集。可编辑的 3D 高斯溅射 (3DGS) 模拟通过真实场景重建和可控编辑提供了可扩展的替代方案。然而,编辑后的 3DGS 渲染视频通常会表现出显着的模拟与真实差距,表现为渲染伪影、前景资源降级、照明不匹配和时间闪烁。解决这些耦合缺陷需要共同恢复本地外观、协调编辑内容并保持时间一致性,而现有方法通常仅解决这些要求的子集。为了填补这一空白,我们提出了 RealityBridge,这是一种视频恢复和协调框架,可将编辑后的 3DGS 渲染转换为真实的驾驶镜头,同时保留模拟器定义的结构、编辑和动态。 RealityBridge 在互补模态信号上调节视频基础模型,并使用轻量级 GateNet 自适应地控制它们跨骨干块的注入。我们进一步开发了一个面向任务的管理管道来构建训练数据,并设计了一个四阶段监督训练策略,然后是奖励引导的 后训练。大量实验表明,RealityBridge 在恢复和协调方面优于现有方法,同时保持强大的时间一致性。