Fisher 子空间中的学习：LoRA 微调 的引导初始化

LoRA 通过限制对预训练权重的低秩子空间的更新来适应 大语言模型 (LLM)。虽然这大大降低了训练成本，但适应的有效性关键取决于初始化时选择的子空间：将容量分配给与任务无关的方向的不良初始化会严重阻碍下游性能。现有的初始化策略主要依赖于预训练权重的内在属性，隐含地假设权重几何形状单独反映了任务相关性。然而，这样的标准忽略了模型如何与下游数据分布交互。在这项工作中，我们将 LoRA 初始化制定为识别目标数据分布下参数空间中方向的影响程度。我们认为，数据感知的敏感性，而不是仅权重的大小，应该决定适应子空间的选择。基于这个观点，我们提出了一个费舍尔引导的框架，该框架利用下游数据引起的曲率信息来描述参数扰动如何影响模型预测。这种观点产生了一个原则性的、依赖于任务的标准，用于选择 LoRA 方向，更好地使适应与目标目标保持一致。不同任务和模式的经验结果表明，数据感知初始化比现有方法一致且显着提高了下游性能。