ShadowPEFT：参数高效的影子网络 微调

流行的低秩参数效率 微调 (PEFT) 方法将适应表示为对选定骨干权重的单独更新，而不维护在深度上更新和重用的显式任务特定状态。这些更新还需要推理主干，因此不能作为独立的预测器运行。我们提出了 ShadowPEFT，它将可训练的适应整合到一个以紧凑阴影模型和轻量级 Transformer 特定层耦合模块为中心的模块化阴影组件中。持久阴影状态细化冻结的骨干表示，并以交互方式对其进行更新。由于影子模型被训练为完整的预测器，因此可以将其分离以进行仅影子推理，而无需执行基础模型，并且可以从预训练模型进行初始化。文本和图像生成以及理解基准的实验表明，ShadowPEFT 在可比较的可训练参数预算下匹配或优于 LoRA 和 DoRA。对影子预训练、跨数据集传输、参数缩放、推理延迟和系统级评估的额外分析表明，集中式层空间自适应是传统低秩 PEFT 的一种有竞争力且灵活的替代方案。