GAIN：域适应的乘法调制

将 LLM 适应新领域会导致遗忘，因为标准方法（例如完整的 微调、LoRA）将新方向注入权重空间。我们证明遗忘是由一个代数属性控制的：更新是否保留预训练权重矩阵的列跨度（命题 1）。我们提出 GAIN，最简单的乘法替代方案 (W_new = S * W)，它通过构造满足这一点，并且可以吸收到现有权重中以实现零推理成本。在连续适应八个领域的五个模型（774M 到 70B）中，GAIN 将早期领域的困惑度提高了 7-13%，而 LoRA 将其降低了 18-36%。 GAIN 在不存储先前数据的情况下与重放增强型 LoRA 相匹配，并在遗忘适应帕累托前沿上主导了 EWC。 LoRA 只能通过牺牲域内自适应来减少遗忘，而 GAIN 在没有域边界和无正则化的情况下实现了两者。该原理概括为：(IA)^3，一种独立的乘法方法，也改进了早期的域。