可查询的 LoRA：共享低秩更新原子上的指令正则化路由

我们提出了一种用于大型神经网络参数高效 微调 的数据自适应方法。标准低秩自适应方法通过将每层更新限制为固定的低秩形式来提高效率，但是当适当的校正取决于输入和网络的不断发展的深度计算时，这种静态参数化可能过于严格。我们的方法用低秩更新原子的共享可查询内存取代了纯粹的层本地适配器。对于每个层块，模型根据当前低秩状态和先前块的运行摘要形成查询，使用此查询通过注意力检索共享更新组件的内容相关组合，并在低秩瓶颈内应用生成的路由运算符。通过这种方式，该方法保留了低秩自适应的效率和可扩展性，同时允许有效更新随输入而变化并跨层共享可重用结构。由此产生的架构在静态 LoRA 式更新和完全生成的参数更新之间提供了一个有原则的中间立场：它保持紧凑和参数高效，同时支持动态、上下文敏感的适应。此外，我们通过使用语言诱导的先验更新原子来增强路由 logits 来合并指令正则化，从而将低秩变换的选择偏向于语义相关的方向，而不生成无约束的参数更新。对噪声非线性回归任务和 LLM 微调 的实验表明，与标准低秩适应相比，这种可查询更新内存公式可以提高最终测试性能和训练稳定性，同时使用相当数量的可训练参数。