RECAST：适配图像到3D先验以生成完整车辆视角

当自车和周围的参与者超出其记录的轨迹时，闭环驾驶模拟需要渲染的观察结果保持可靠，从而暴露源日志中缺少的视图。现有的数据驱动模拟器根据稀疏观察重建动态参与者，这可能会导致在这些视点变化下渲染伪影。我们引入了 RECAST（重建可控制的 Actors 用于模拟和测试），这是一个 3D 高斯 Splatting 框架，它根据驾驶日志中的单个分段车辆观察生成视图完整的 Actor，并将生成的 Actor 注册到重建的场景中。 RECAST 支持受控的自车与周围车辆交互下的规划器在环的渲染。为了将图像到3D先验适配到真实车辆，我们进一步引入了 RECAR，这是一个包含大约 2 万辆真实车辆的数据集，其中包含 60 万张无背景 RGBA 图像，涵盖不同的车辆颜色和类型。我们使用两阶段适应来改进真实驾驶日志观察的车辆生成。在参与者级别，相对于未适应的 TRELLIS，RECAST 将 $FD_{incep}$ 从 9.788 减少到 7.992。在场景级别，在超出记录轨迹的周围车辆运动下，相对于街道高斯，RECAST 将 $FD_{incep}$ 从 129.35 减少到 112.10，并将 $CLIP_{margin}$ ($\times1000$) 从 0.14 增加到 3.47。我们使用图像调节规划器 GTRS-Dense 演示了规划器在环仿真。与本地 Street Gaussians 周围车辆相比，RECAST 将无碰撞 (NC) 率从 22.2% (12/54) 提高到 63.0% (34/54)，并将平均最小预测碰撞时间 (TTC) 从 0.798 秒提高到 2.150 秒。这些实验表明，RECAST 支持在日志重放之外的受控自车与周围车辆交互下进行闭环规划器评估。访问我们的项目页面：https://zijunkr.github.io/RECAST/