并非所有补丁都相同：可见光-红外 预训练 的采样很重要

可见光-红外 (VIS-IR) 对齐是实现稳健的多传感器感知的一项关键 预训练 任务。大多数现有方法使用统一的逐块对比学习，但这在 VIS-IR 数据中可能不可靠，因为成像物理差异使得一些空间配对区域本质上不太可比，并且以相等的强度对齐它们会阻碍表示学习和下游转移。在本文中，我们从采样角度重新审视 VIS-IR 预训练，并提出重要性感知采样（IAS），它根据补丁可靠性调整训练重点。具体来说，IAS (i​​) 从红外结构线索中得出斑块权重，并使用它们来重新加权对比目标； (ii) 使用轻量级采样器学习软重要性掩模，可选地从手工制作的先验知识中热启动； (iii) 采用补丁课程学习策略，逐渐从高可靠性区域扩展到更难的补丁。值得注意的是，IAS 是即插即用的，并且可以与补丁/相关级别对齐（例如，UNIV 样式）和图像级别对比基线（例如，ImageBind 样式）一起使用。对多个 VIS-IR 基准的广泛实验表明，在强基线上有一致的改进，包括 IR 语义分割、IR 对象检测和 VIS 语义分割和跨模式检索任务。代码将在 https://github.com/KlayMa527/IAS 上发布。