使用分层监督重新利用基于 RGB 的基础模型进行热图像深度估计

热图像的深度估计对于恶劣条件下（例如夜间和雨天）的机器人应用非常有价值。最近的研究试图将知识从基于 RGB 的基础模型转移到热模态，但这些模型编码的丰富的层次表示仍未得到充分利用。为了解决这个限制，我们提出了 RGB-HS，这是一种用于热图像深度估计的新颖框架，它利用基于 RGB 的基础模型的分层监督。具体来说，我们首先用基础模型替换基线热编码器，并引入并行 RGB 分支，该分支也采用基础模型作为相同架构的编码器，以 RGB 图像作为输入。然后在两个编码器的标记之间跨多个级别执行对齐，从而允许热学生分支从 RGB 教师分支捕获结构精度和语义抽象。此外，我们引入了验证，通过基于 RGB 图像质量对来自 RGB 分支的标记进行加权来细化对齐过程。对流行基准的大量实验表明，RGB-HS 实现了具有竞争力的性能，并且更有效地利用基于 RGB 的基础模型的表示能力来进行热图像的深度估计。