Fisher 引导的自适应 微调 渐进参数选择

参数高效的 微调 通常在使用架构启发式调整之前选择可训练参数，而不考虑它们在训练期间不同的重要性。我们引入了 \textbf{FisherAdapTune}，它根据 Fisher 信息中的时间漂移​​逐步选择参数组。在局部高斯近似下，我们通过累积费舍尔加权更新成本来限制微调后验和预训练先验之间的差异，从而激发曲率感知选择。 FisherAdapTune 测量连续 Fisher 值分布之间的 Jensen-Shannon 距离，并使用自适应阈值来冻结稳定组。在 VTAB-1k 分类任务中，它在比较方法中实现了最高的宏观 Top-1 精度，并且平均可训练集比完整的 微调 更小。在四个分段骨干网中，它保持了有竞争力的分布内性能，并在多种设置中改进了零样本传输。它的选择揭示了依赖于架构的模式，其中输入、输出和归一化参数可以随着注意力和 MLP 组以不同速率冻结而保持可训练。结果支持费舍尔结构漂移作为适应过程中分配更新的任务相关信号。我们公开发布我们的 \href{https://github.com/AtlasAnalyticsLab/FisherAdapTune}{code} 以进一步应用我们提出的方法。