学习锚定提示空间以持续适应大语言模型

不断适应大语言模型需要获取新知识，同时保留以前学到的能力。联合调整模型参数和特定于任务的软提示提供了一种有前途的解决方案，但面临两个关键限制：随着模型的发展，历史提示可能会变得不那么有效，而它们可转移的跨任务关系没有被明确学习。我们提出学习锚定提示空间（LAPS），它保留历史提示有效性并学习特定任务软提示之间的关系以促进积极迁移。 LAPS 首先通过自我蒸馏将历史提示与更新的模型保持一致。然后，LAPS 构建一个锚定提示空间，其顶点对应于学习的特定于任务的软提示，其中间几何形状由可学习的贝塞尔控制提示塑造。一旦学习了这个锚定提示空间，LAPS 就会在其验证集上识别出每个任务表现最佳的提示，从而允许优化的提示利用从观察到的任务中获取的知识。跨三个 Qwen3 模型尺度的 TRACE 基准实验表明，LAPS 始终优于基于蒸馏、基于提示和联合提示参数适应基线，提高了平均性能，同时减少了遗忘。