论文

AstraSR:使用 GPT-6 Astra 实现真实世界的热超分辨率

AstraSR: Real-World Thermal Super-Resolution with GPT-6 Astra

模型训练合成数据

摘要

现实世界的热超分辨率(SR)受到传感器分辨率有限以及难以获得用于直接模型监督的相应高分辨率(HR)观测的限制。传统的 SR 方法通常通过将捕获的具有真实世界退化的热图像作为 HR 参考并应用预定义的退化来生成合成低分辨率 (LR) 输入来构建训练对。这种结构不仅在合成和捕获的 LR 观测之间引入了域差距,而且在监督中保留了采集退化。为了解决这个问题,我们提出了 AstraSR,一种由 GPT-6 Astra 指导的现实世界热 SR 方法,GPT-6 Astra 是一种具有新兴和变革性视觉能力的前沿多模态生成模型。具体来说,我们通过使用捕获的 LR 热图像来调节基于 GPT 的 HR 参考来构建图像对数据集。我们开发了一种直接生成监督策略,该策略从捕获的热输入与 GPT 生成的 HR 参考相结合进行学习。像素、梯度和感知损失共同监督生成参考中的强度模式、结构边界和视觉细节的传输。与七种现有最先进的现实世界 SR 方法的定性比较显示了热场景中连续的物体轮廓、清晰的结构边界和平滑的强度过渡。这些结果表明,AstraSR 在热清晰度和结构一致性方面均优于现有的现实世界 SR 方法。

AstraSR:使用 GPT-6 Astra 实现真实世界的热超分辨率的原论文方法或结果图
图 2:拟议的 AstraSR 框架概述。 GPT-6 Astra 仅离线使用,根据保真度约束的恢复指令从捕获的热输入构建结构保留的 HR 参考。这些参考文献使用像素、梯度和感知目标来监督可学习的热 SR 模型。 训练之后,SR模型被冻结并独立执行退化抑制热SR,在推理过程中不需要GPT-6 Astra。