论文

在选择器不完美与计算成本约束下设计智能体工作流组合

Designing Agentic AI Workflow Portfolios under Imperfect Selection and Compute Cost

模型推理智能体系统测试时计算扩展Agent Harness

摘要

智能体AI系统常以推理策略、验证结构和计算成本不同的工作流处理同一任务。自然的部署策略是选平均表现最好的流程,但不同流程可能在不同实例上成功,因此这可能次优。我们研究组合与选择器范式:企业运行多个工作流,在观察输出后选择最终答案。额外运行可能找到最佳独立流程遗漏的正确答案,却消耗计算并引入看似可信的干扰项,使最终选择更难。我们将其建模为工作流组合问题,联合决定运行规模和各类流程分配。我们用胜算提升指数概括选择器质量,推导流程多样性价值的紧界。对于有限流程池,我们提出精确模型、线性规划松弛、随机舍入程序和可计算性能证明。对于大型隐式工作流类,我们推导有限维对偶和使用定价预言机的椭球方法,识别扣除持续计算成本后加权准确率高的流程。在一个弱条件下,该方法用多项式次数预言机调用获得近似最优松弛解。我们在ABCD、Schema-Guided Dialogue和HotpotQA上评估,相比最佳独立流程,组合优化分别使留出选择器准确率提高3.1、7.5和0.9个百分点。对偶引导的流程生成在ABCD上再增3.5点,在HotpotQA上增24.1点,在Schema-Guided Dialogue上没有额外收益。