EoupCT：估计未知预训练梯度以减轻持续微调遗忘

持续微调对于大型语言模型（LLM）动态适应现实环境至关重要，但它不可避免地会遭受灾难性遗忘，特别是先前任务和 LLM 通用知识的性能下降。尽管正交梯度投影等现有方法可以减轻各种微调任务的遗忘，但它们从根本上无法保留预训练LLM固有的通用知识，因为这些方法所需的现成预训练LLM的原始数据和梯度是完全未知的且高度多样化。为了弥补这一关键差距，我们提出了 EoupCT，这是一种新颖的框架，旨在估计和正交化未知的预训练梯度，以进行持续的 LLM 微调。具体来说，EoupCT 通过配备 Gumbel-Softmax 松弛的可学习软提示动态生成在学习新任务时最易被遗忘的伪数据来估计预训练梯度。此外，我们提出了一个多目标优化问题，并引入了一个一阶高效 Pareto 优化器，该优化器联合优化 LLM 参数和软提示，严格执行新任务更新和估计的预训练梯度之间的正交性。跨多个大语言模型的广泛实验表明，EoupCT 有效地保留了特定任务的熟练程度和固有的通用知识，成功地减轻了灾难性遗忘。