Thermal-Det：用于开放词汇热物体检测的语言引导跨模式 蒸馏

现有的开放词汇探测器专注于 RGB 图像，无法推广到热图像，其中低纹理和发射率变化对基于 RGB 的语义提出了挑战。我们推出了 Thermal-Det，这是第一个专为热图像定制的 大语言模型 (LLM) 监督式开放词汇探测器。为了实现大规模训练，我们开发了一个合成数据集，将 GroundingCap-1M 转换为热域并过滤标题以删除 RGB 特定术语，从而生成超过一百万个带有边界框、目标定位文本和详细标题的热对齐样本。 Thermal-Det 联合优化检测、字幕和跨模式 蒸馏 目标。冻结的 RGB 教师为配对但未标记的 RGB 热数据提供几何和语义伪监督，无需手动注释即可传输开放词汇知识。该模型还采用热文本对齐头进行文本校准，并采用模态融合交叉注意力模块进行双模态推理。与之前的域适应方法不同，检测器经过完全微调，可以内化热对比模式，同时保持语言对齐。公共基准实验表明，与现有开放词汇检测器相比，AP 持续提高 2-4%，为可扩展、语言驱动的热感知奠定了坚实的基础。