论文

Text2Thermal:基于文本先验的物理感知热图像合成

Text2Thermal: Physics-Aware Thermal Image Synthesis from Textual Priors

模型训练监督微调与指令调优

摘要

热红外成像可在黑暗和恶劣天气下提供可靠的感知,但热数据集仍然稀缺,这促使人们开展大量工作,将丰富的 RGB 图像转换为热图像。这种转换从根本上来说是不适定的,因为热外观由表面发射率和物体温度控制,而这两者在可见光谱中都不可观察到,因此单个 RGB 图像与许多有效的热输出一致。我们认为语言提供了解决这种歧义的自然方法,并提出了**Text2Thermal**,这是一种根据文本先验合成物理感知热图像的框架。我们不是从 RGB 中推断出不可观察的辐射因素,而是通过编码材料、天气、时间和热发射状态的基于热辐射条件的描述明确提供它们,并将预先训练的稳定扩散骨干适应热域。由于辐射内容完全由提示确定,因此 Text2Thermal 可以合成热图像,无需在推理时注册 RGB 图像。在需要空间引导的情况下,可选的控制信号会赋予场景几何形状,而不会干扰提示指定的辐射测量。在 M3FD 和 FLIR 上,Text2Thermal 在热图像合成方法中实现了最先进的 FID,我们还报告了 FMB 数据集的结果,同时提供基于翻译的方法无法提供的文本级控制。