RGB 到 IR 图像转换，用于看不见的无人机领域中的红外车辆检测

当现实世界数据稀缺时，例如热红外 (IR) 飞行器检测，合成训练数据对于开发视觉人工智能至关重要。虽然丰富的无人机 RGB 图像促进了 RGB 到 IR 的转换以实现数据增强，但不可观察的热特性（例如发动机热量）使得学习可转移映射具有挑战性。这项工作研究了现代生成翻译器是否可以克服这种跨模式差距，以改进对看不见的无人机目标域的红外车辆检测。转换器在成对的 RGB-IR 源数据集上进行训练，并应用于来自保留目标数据集的 RGB 训练图像，以生成合成 IR 数据。评估的方法包括监督 GAN、基于 ControlNet 的扩散模型以及通过 LoRA 进行的基础模型编辑。生成的合成红外图像用于训练 RF-DETR 车辆探测器，这些探测器在五个航空数据集上看不见的红外目标测试分割上进行评估，其中 Kust4K 和 VTUAV 作为目标域。合成 IR 的性能始终优于 RGB 和灰度基线。与仅在源域红外数据上训练的模型相比，带有 ControlNet 的稳定扩散 3.5 产生了最佳结果，Kust4K 上的 mAP 从 50.8 提高到 60.1，VTUAV 上的 mAP 从 25.6 提高到 38.4。通过多个种子 (+1.1 mAP) 和即时变化 (+3.3 mAP) 增加输出多样性为 VTUAV 提供了额外的收益。尽管与真实目标红外数据的性能差距仍然存在，但生成式 RGB 到红外转换可有效缓解红外数据稀缺性并改进跨域飞行器检测。