双线性优化散度：诊断因素约束的 LoRA 持续学习

LoRA 因子中的正交性本身并不指定组合更新保护的内容：答案取决于任务启动状态、参数化和实现的优化器位移。我们通过双线性优化分歧（BOD）形式化了这个问题，这是对选定历史特征的有效更新响应的锚相关诊断。有限步分析区分两种情况。在共享适配器中，保护路由位移会通过改变伴随因子留下学习锚残差。在新的零输出块中，可行的路由状态可以保护组合更新，同时两个当前因子仍然可训练。这些条件产生用于共享适配器的半冻结正交路由（SFOR）和用于累积 O-LoRA 的电流块硬保护；权重残差投影 (WRP) 在优化器步骤之后强制执行所需的位移。受控双任务跟踪验证了预测的残差路径，将共享族中的标准化历史响应从 19.12% 降低到 0.005%，将累积族中的标准化历史响应从 7.72% 降低到 0.002%。 Qwen3-8B 上的四任务实验表征了由此产生的权衡：SFOR 将后向转移 (BWT) 从 -2.47 提高到 -0.86，平均准确度 (AA) 几乎不变，而 O-LoRA 硬保护将三阶平均 AA 从 80.27% 提高到 81.30%，遗忘测度 (FM) 从 2.20 提高到 0.43。组件控制还表明，更严格的可行性并不需要提高最终任务性能。分析和证据共同提供了一个以架构为条件的说明，说明要强制执行哪种约束、如何强制执行以及如何解释其经验值。