论文
自适应自动控制:开放式任务流上代理系统部署的持续自我改进
Adaptive Auto-Harness: Sustained Self-Improvement for Agentic System Deployment on Open-Ended Task Streams
摘要
A-Evolve、GEPA 和 Meta-Harness 等自动Harness系统通过优化提示、技能、工具、记忆以及来自执行反馈的支持基础设施来改进 LLM 代理,但它们通常在固定的离线基准上进行评估。相反,实际部署呈现开放式任务流:历史增长没有固定端点,异构任务需要不同的工具,问题分布随着时间的推移而变化。这些挑战使得单个重复且密集更新的Harness变得脆弱,导致性能下降,因为准确性提前达到峰值然后下降。这通过任务适应来激励持续的Harness构建。我们引入了自适应自动Harness(Adaptive Auto-Harness),这是一种用于此类流的框架和系统。该框架将预言机的差距分解为进化损失和适应损失。该系统通过有状态的多代理进化器、具有求解时间路由的Harness树以及针对历史缺乏所需信号的情况的人工引导挂钩来解决这些损失。在预测市场、安全竞争和事件预测流中,自适应自动Harness的性能优于现有的五个自动Harness基线,并且消融将收益归因于更好的构建、路线或有针对性的人工转向。代码可在 \href{https://github.com/A-EVO-Lab/a-evolve/tree/release/adaptive-auto-harness}{Link} 中找到。