SWIFT：用小世界连接缓解稀疏微调中的特征信息孤岛

稀疏调优因其参数效率而被广泛用于适应大型语言模型。然而，其有效性不仅取决于可训练参数的数量，还取决于稀疏更新结构支撑集的特征交互拓扑。这一支撑集内有限或不均匀的连接可能会隔离特征维度的子集，形成信息岛，限制通过可训练更新的直接特定于任务的交互。为了解决这个问题，我们提出了小世界诱导微调（SWIFT），这是一种受小世界连接启发的稀疏调整框架。 SWIFT 将用于局部特征混合的块对角稀疏更新与固定的确定性散射排列相结合，该排列可以跨特征组路由混合输出，而无需额外的可训练参数。我们进一步从理论上证明，某些随机稀疏更新模型和块对角更新可以表现出信息岛，而当可训练的块对角因子由大小相等、结构密集的方形块组成时，充分分散的排列可以保证正的块级扩张性。关于常识推理、自然语言生成和图像分类的大量实验表明，SWIFT 平均优于评估的参数高效微调 (PEFT) 基线，并且可以匹配或超过完全微调。实现见 https://github.com/xianchaoguan/SWIFT