迈向稳健的开放集适应：受 Rac1/MAPK 通路启发的突触整合

大语言模型（LLM）通过可重用的表示和灵活的推理来泛化任务，但在面对不断变化的任务和持续的分布转移时，在实际部署中仍然很脆弱。虽然测试时适应通过更新具有测试数据无监督目标的模型来解决这个问题，但流行的方法从根本上受到忽视源知识保存和适应信号可靠性的限制。受到果蝇如何通过 Rac1 和 MAPK 路径平衡追溯和主动干扰来协调内存更新的启发，我们设计了具有两个核心组件的 Synapse Consolidation (SyCo)：受 Rac1 启发的可塑性限制器和受 MAPK 启发的更新控制器。前者动态地将可塑性限制在尾部梯度子空间中，该子空间对于源知识不太重要，从而在保留源表示的同时实现快速专业化。后者使用分层控制器来抑制噪声更新并在非平稳流下巩固有用的适应。为了进一步对具有多个源和不断出现的任务的真实部署进行建模，我们引入了多源开放集适应（MOA）设置，其中模型在多个标记源任务上进行训练，然后适应开放的、非平稳的未标记测试流，混合可见和未见的任务，并且标签和意图空间部分重叠。在 MOA 设置下的 18 个 NLP 数据集上，SyCo 始终优于强大的基线，在未见任务适应方面实现了 78.31%，在未见数据转换方面实现了 85.37%，创下了新的最先进水平。