沙丘社区
论文

动态 Harness 搜索：通过预测按查询构建多智能体系统

Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction

Som Sagar; Shasha Li; Hejie Cui; Ransalu Senanayake; Sercan Ö. Arık
智能体系统Agent Harness

摘要

智能体 Harness 规定解决任务所用的角色、指令、工具和通信结构，合适的 Harness 取决于具体查询。由于设计选择的价值只能通过实际执行观察，按查询定制 Harness 通常需要在推理时执行多个方案，或进行昂贵的人工设计。我们提出 SHIFT，将实际执行移出每个查询的搜索循环。一个本地 LLM 架构设计器通过搜索学习 Harness 构建行动的策略，同时学习价值函数，根据已测量的执行结果，预测兼顾准确率与执行成本的效用。对于每个查询，蒙特卡洛树搜索利用这些预测构建 Harness。在覆盖数学、文档和通用助理任务的六个基准、9,193 项任务上，配合 Gemini 3.5 Flash 执行器，SHIFT 获得约 80% 的最高平均准确率，优于涵盖提示、提示优化和工作流搜索的 17 个基线，并比最强基线高 7.2 个百分点。更低成本的 SHIFT 模式也优于所有基线的平均准确率，且比最强基线少用 32% 的执行 token。联合选择结构、指令和工具，比只选择指令或只选择工具最高提高 9.1 个百分点；学习得到的价值选择器还能够从候选池中识别更准确且执行成本更低的 Harness。

动态 Harness 搜索：通过预测按查询构建多智能体系统的原论文方法或结果图
图 2：SHIFT 概述。给定一个查询、当前的 Harness 及其可行的操作，本地 Gemma-2-2B 架构师会根据操作生成策略和效用估计。 MCTS 使用这些预测来搜索没有执行程序调用的动作序列，之后执行程序仅运行选定的 Harness。在训练期间，测量结果存储在重播缓冲区中，并用于更新 LoRA 适配器和策略值头。