DT-R2S2R：用数字孪生对齐和扩散生成减少驾驶感知标注需求

基于摄像头的自动驾驶 3D 感知在很大程度上依赖于大型注释数据集，将此类系统部署到新的目标区域通常需要数据收集和注释。已经提出生成增强来降低这种成本，但现有的方法面临着一个基本的权衡：标签条件方法消耗了它们想要替换的注释，而模拟器条件方法提供免费注释，但缺乏对特定真实环境的视觉基础。这项工作研究了数字孪生驱动的 Real2Sim2Real 管道 (DT-R2S2R) 可以在多大程度上替代目标区域真实数据。通过在地理参考数字孪生 (DT-R2S) 内重建记录的驾驶片段，我们在几何对齐的模拟器渲染图上调节扩散模型，建立基于数字孪生的 Sim2Real 模型 (DT-S2R)。因此，DT-S2R 可以在数字孪生覆盖范围内的重建和新颖模拟器场景中，根据低成本且经过地理参考的模拟器数据，合成逼真的驾驶图像。生成数据的有效性在不同的 3D 探测器上得到验证。尤其是 DETR3D，报告了目标区域真实数据预言机获得的 93.18% 的 mAP，而无需使用探测器 训练 的目标图像。此外，简单的 co-训练 与现有的非目标真实数据的性能优于预言机。因此，DT-R2S2R可以大大降低数字孪生可用区域中手动现场数据收集和注释的成本，为扩展3D感知提供实用基础。