Task-CoEvolve：通过自适应验证任务选择进行高效的Harness优化

我们提出了一种通过自适应验证任务选择来实现高效 LLM Harness优化的新颖方法。Harness优化根据验证性能迭代地重写Harness代码，从而在不更新底层模型权重的情况下实现显着的性能提升。然而，现有的方法在每次迭代时都会全面评估固定的验证集，即使对于随着工具的发展而变得不那么具有区分性的任务也会产生大量的评估成本。我们提出 $\textbf{Task-CoEvolve}$，它通过解决两个挑战来共同进化验证任务和工具：选择信息丰富的任务和从部分评估中估计全套性能。 Task-CoEvolve 建立在这样的观察基础上：与始终解决或失败的任务相比，候选工具不一致的任务对于区分它们提供了更多信息。它使用基于过去结果的方差加权抽样，将评估重点放在能力边界附近的任务上，并随着工具的发展而调整抽样分布。然后，它通过考虑采样概率来估计采样任务的完整分数，从而在评估不同子集的情况下实现迭代之间的一致比较。在线文本分类和 Terminal-Bench 2.1 的实验表明，Task-CoEvolve 始终优于基于子集的基线，并与全集搜索的最终性能相匹配，同时将优化过程中的评估次数减少了 80%。代码将在 https://github.com/Agent4Science-UTokyo/Task-CoEvolve 发布。