MBTI：使用基础模型进行高光谱图像分类的多分支高效 微调 框架

高光谱基础模型从大规模未标记数据中学习可转移的光谱空间表示。它们提供了一种有效的范例，用于适应具有有限标记样本的下游高光谱图像（HSI）分类任务。然而，不同传感器的光谱带配置差异很大，这使得直接模型传输变得困难。现有的适应策略通常会压缩、选择或重塑原始光谱，以匹配特定于模型的输入要求。这些操作可能会丢弃有用的光谱信息并削弱局部光谱连续性。为了解决这个问题，我们提出了 MBTI，一种用于高光谱图像分类的多分支高效 微调 框架。 MBTI 使高光谱基础模型适应下游分类任务，同时保留全波段光谱信息。首先，我们介绍一种保持光谱连续性的多分支预处理策略。将原始HSI划分为多个连续的频谱子集，当剩余频段无法形成完整的分支时，采用频段复用机制。这避免了无效的填充和不必要的频谱损失。其次，将独立的低秩适应（LoRA）模块插入到每个分支中。它们使不同的光谱间隔能够学习特定于任务的判别特征，同时保持大多数预训练参数的冻结。最后，多分支通道注意融合模块自适应地重新校准和集成来自所有谱分支的特征。在三个公共高光谱数据集上的实验表明，与代表性分类方法相比，MBTI 取得了有竞争力的优越性能。在最终的rank-8配置下，只有大约2.33\%--2.36\%的参数是可训练的。该代码可在 https://github.com/Azhenmiddleblock/MBTI/tree/main 获取。