用于参数高效微调的流形约束超连接

大多数参数高效微调（PEFT）方法都会调整权重或激活，从而使关键的 Transformer 组件之一保持不变：残差连接。本文研究了流形约束超连接 (mHC)，这是一种残差连接的推广，作为一种新颖的 PEFT 方法，用学习的残差路由模块包裹冻结的 OLMo-2 主干网。我们发现 mHC 可以微调冻结的 Transformer，但其作用与原始 预训练 设置有根本不同：在微调中，将残余混合矩阵固定为同一性通常可以提高性能。作为一种独立的 PEFT 方法，mHC 的性能并不总是优于 LoRA。然而，在匹配的可训练参数预算下，mHC+LoRA 组合改善了语言建模损失，并在 1B 和 7B 规模上显示出任务相关的基准增益。总的来说，我们的结果将残差路由确定为一种独特且有前途的新型 PEFT 轴。