LOFT：通过任务感知支持选择的低秩正交 微调

正交参数高效 微调 (PEFT) 通过保留结构的乘法变换来适应预训练权重，但现有方法经常混淆两种不同的设计选择：发生适应的子空间和在该子空间内应用的变换。本文介绍了 LOFT，这是一种低秩正交 微调 框架，它显式地分离了这两个组件。通过将正交适应视为乘法子空间旋转，LOFT 提供了一个统一的公式，可以恢复代表性的正交 PEFT 方法，包括基于坐标子空间、蝴蝶子空间、Householder 子空间和主子空间的变体。更重要的是，这个视角将支撑选择暴露为中心设计轴，而不是特定参数化的副产品。我们开发了一个一阶分析，表明有用的适应支持应该由下游训练信号通知，从而激发实际的任务感知支持选择策略。在语言理解、视觉迁移、数学推理和多语言分布外适应方面，LOFT 恢复了主子空间正交适应，而梯度通知支持则改善了匹配参数、内存和计算预算下的效率与性能权衡。这些结果表明有原则的支持选择是改进正交 PEFT 的重要方向。