FreqKD：用于红外物体检测的频率解耦跨模态 知识蒸馏

由于图像形成物理学的根本差异，通过 知识蒸馏 (KD) 从大规模 RGB 基础模型到红外 (IR) 图像的迁移学习仍然具有挑战性。我们研究了 RGB-IR 模态间隙的光谱结构，并观察到特征散度在整个空间频率上并不均匀：低频分量（形状、布局）比高频分量（纹理、精细边缘）表现出更大的跨模态对齐，这反映了模态特定的特征。基于此分析，我们提出了 FreqKD，一种频率解耦的 蒸馏 框架，该框架应用适应每个频段跨模态一致性的非对称监督。该方法在低频段采用严格的均方误差 (MSE)，以保留共享的结构信息，并在高频段采用宽松的 log-MSE 损失（加权为 0.1），以提供边缘引导，同时容忍纹理差异。对 500 个配对样本的频谱发散分析表明，在所有分析的 Transformer 层中，高频发散平均超过低频发散 2.4 倍。在 KAIST 多光谱行人检测中，FreqKD 达到了 64.1 mAP50，比 DINOv2 基线提高了 2.4 分。学习到的表示可以跨数据集（FLIR ADAS，+2.1 mAP50）、任务（MFNet 分段，+1.85 平均交集）和架构（ResNet-50，+1.0 mAP50）传输。代码位于：https://anonymous.4open.science/r/freq_de Coupled_kd-5E5A