TRACE：通过适应感知探测发现任务特定参数以实现连续 微调

在实际部署中，LLM 通常会跨任务不断进行调整，以使 LLM 在生产中保持最新状态，其中新的 微调 应保留以前学到的技能。然而，不加区别地混合任务会削弱任务专业化，而顺序 微调（全参数或低秩适应）通常会因破坏性覆盖而导致灾难性遗忘。基于重放的持续调整和维护单独的特定于任务的适配器可以减少遗忘，但会带来额外的计算、存储和管理开销。认识到任何单个任务的 LLM 参数的冗余性，我们将连续任务适应重新定义为通过适应感知探测来发现特定于任务的参数：一个简短的热启动探测暴露了任务的适应跟踪，使我们能够识别和隔离每个任务所必需的参数的小子集，以减轻灾难性遗忘。基于这一观点，我们引入了 TRACE，这是一种通过连续 微调 的适应感知探测来发现任务特定参数的新颖方法。我们执行短暂的热启动微调，通过比较热启动模型和预训练模型来导出特定于任务的核心参数。核心参数通过两种策略来识别：重要性评分（​​L$_2$ 范数和 Fisher 信息）和特异性分析（参数更新的余弦相似度）。在连续的 微调 设置中，仅更新活动任务的核心参数，而其他参数保持冻结，从而保留先验知识。我们在多个标准基准上进行了广泛的实验，以证明我们提出的方法的卓越性能。此外，我们通过跨模型和规模可迁移性研究验证了我们方法的泛化性，展示了指导资源约束下大规模模型 微调 的“从小到大”范式。