PEFT 前探测：VLM 视觉编码器中层选择的权重统计和扰动鲁棒性

我们提出了一种用于参数高效微调（PEFT）层选择的预微调探测方法，旨在在适应大型视觉语言模型（VLM）时以更少的可训练参数获得更稳定和更高的增益。与将 LoRA 和其他适配器同时应用于所有层的常见做法（其中层选择通常依赖于启发式规则）不同，我们专注于视觉编码器并直接评估每个 Transformer 层的“适应性”。具体来说，我们从两个角度来表征每个层：（i）其 Q/K/V 投影权重的统计特性（例如规范和条件数）；（ii）受控参数扰动下的鲁棒性。然后我们系统地将这些指标与下游性能进行比较在涵盖七个基准和五个 PEFT 变体的实验中，我们观察到一致的相关性：具有较大权重范数和较高条件数的层（或矩阵）通常对扰动更稳健，并且更有可能产生更大的微调增益。这些结果表明，微调之前的分布统计分析和扰动测试可以为适应层选择提供实用的信号，从而在减少可训练参数的同时保持或提高性能。