论文

RenderBench:用匹配数字孪生评测渲染到真实迁移

RenderBench: Benchmarking Render-to-Real Video Transfer with Reconstructed Digital Twins

模型评测基准与评测资源

摘要

现代视频模型可以根据真实外观参考和指定场景结构、视点变化和运动的代理渲染生成逼真的视频。评估这种真实渲染能力需要描绘相同场景演化的真实目标视频,并搭配可编辑的、几何配准的 3D 复制品。传统上,此类数据需要大量的手动建模、校准和动画工作。我们介绍 RenderBench,这是 12 个重建的现实世界场景的基准,涵盖大型室内环境和以自我为中心的视点,具有静态和动态设置。我们的构建流程结合了视觉几何、神经重建和辅助 3D 创作。每个场景都被分解为静态对象和动态 执行模型,注册到捕获相机,并且仅在多视图几何和时间验证后才被接受。每个评估单元包含外观参考图像、保留测试 真实目标视频、可编辑的数字孪生、匹配的代理渲染和渲染器本机场景注释。我们根据配对的真实目标视频评估传输模型,保留 PAI-Bench-C 兼容的结构投影,并使用场景注释通过对象、可见性、清晰度和运动来定位故障。第一个版本保留了 14 个注册样本中的 12 个(85.7%),包括 1,496 个配对的真实代理帧。所有发布的场景都通过文件完整性和环境编辑审核,而代理诊断产生的深度 si-RMSE 为 0.2170,实例 mIoU 为 0.3673。 RenderBench 提供配对的真实观察和可编辑的场景状态,用于评估外观保真度以及几何和动态的保留。

RenderBench:用匹配数字孪生评测渲染到真实迁移:论文原图
图 2:RenderBench 的构建和评估流程。多视图观测结果被转换为经过验证的数字孪生,其中包含可编辑对象、铰接式 执行模型 和对齐相机。传输模型接收外观参考和对齐的代理视频,而匹配的真实目标仍然仅供评估者使用。使用成对参考指标直接将生成的输出与真实目标进行比较,而 PAI-Bench-C 兼容的结构投影和成对场景状态支持诊断分析。