论文
ASTAD:自动驾驶中从合成到真实适应的非对称风格迁移
ASTAD: Asymmetric Style Transfer for Synthetic-to-Real Adaptation in Autonomous Driving
摘要
合成数据缓解了自动驾驶感知中的数据稀缺问题。然而,合成与真实的差距会导致性能下降,阻碍现实世界模型的泛化。尽管当前的方法利用扩散模型进行真实感风格转移来弥补这一差距,但它们严重忽略了实际的不对称性:虽然合成数据拥有完美的像素级注释,但现实世界的风格参考图像通常缺乏相应的标签。因此,依赖对称语义指导的现有方法要么面临高昂的注释成本,要么面临严重的语义错位。为了解决这个困境,我们正式提出了一项新任务:自动驾驶的非对称风格转移(ASTAD),它需要仅使用标记的合成内容和未标记的现实世界参考进行语义一致的转移。我们进一步介绍了 ASTModel,这是一个 无需训练 两阶段框架,旨在弥合非对称约束下的领域差距。 ASTModel 首先从未标记的目标中提取粗略的语义先验,然后在去噪过程中进行动态先验细化和类一致的风格注入。大量实验表明,ASTModel 在下游感知效用和结构保真度方面显着优于现有方法,同时提供 3.2倍 的推理加速。这项工作将合成与真实的适应与实际限制结合起来,有可能加速强大的自动驾驶系统的可扩展部署。代码:https://github.com/Dingyi-Yao/ASTAD。