子空间控制：将约束模型转向转变为可控谱优化

基础模型，例如 大语言模型 (LLM)，功能强大，但通常需要在部署前进行定制，以满足安全、隐私和特定任务要求等实际约束，从而导致模型引导和适应的“受限”优化问题。然而，由于优化过程中主要目标和约束目标之间的干扰，解决此类问题在很大程度上仍未得到充分探索，并且特别具有挑战性。在本文中，我们提出了约束 模型训练 的子空间控制框架。具体来说，（i）我们首先从模型合并的角度分析频谱跨任务干扰是如何产生的，并表明可以通过正交化合并子空间的一次性解决方案来解决它； (ii) 我们在该解与谱优化器 Muon 中的梯度正交化之间建立联系； (iii) 基于这些见解，我们引入了 SIFT（无光谱干扰训练），它利用本地化方案在优化过程中有选择地进行干预，从而实现可控更新，从而减轻目标约束冲突。我们评估 SIFT 的四个代表性应用：(a) 机器遗忘、(b) 安全对齐、(c) 文本到语音的适应和 (d) 幻觉缓解。与基于控制和无控制的基线相比，SIFT 在所有任务中始终实现了实质性和稳健的性能改进。代码可在 https://github.com/OPTML-Group/SIFT 获取。