论文

利用持续学习:超越模型参数的持续适应

Harness Continual Learning: Continual Adaptation Beyond Model Parameters

智能体系统Agent Harness

摘要

持续学习很大程度上以模型为中心,将模型参数视为随顺序经验而变化的状态。现代代理还可以通过提示、记忆、工具、技能和路由​​规则来适应。由于这些内容共同影响了以后的执行,因此即使模型被冻结,Harness更新也可能会破坏以前可靠的行为。这就提出了一个新问题:智能体如何在保留之前获得的行为的同时不断改进模型之外的状态?我们制定了利用工具持续学习(HCL),这是一种新的持续学习范式,其中利用工具围绕冻结的基础模型演变,并将由此产生的早期行为损失定义为利用工具级别的遗忘。我们用四个面向执行的组件实例化 HCL:任务接口、经验内存、能力映射和自适应路由器。我们进一步引入受保护的Harness演化,将更新生成与状态承诺分开。持续优化器根据执行后反馈建议候选工具,持续评估器仅在检查当前改进、历史保留和有效性后才提交最终的候选工具。文本推理、多模态感知和开放世界交互的实验证明了能力积累和故障恢复,在多种设置下相对于相应基线的相对增益超过 10%。组件消融评估每个Harness组件的贡献,而受控保留扫描揭示了可测量的Harness级别遗忘,并表明可以明确调整稳定性与可塑性的权衡。