AgentOpt v0.1 技术报告：基于 LLM 的代理的客户端优化

AI 代理越来越多地部署在现实世界的应用中，包括 Manus、OpenClaw 和 编码智能体 等系统。现有的研究主要集中在服务器端效率，提出了缓存、推测执行、流量调度和负载平衡等方法，以降低服务代理工作负载的成本。然而，随着用户越来越多地通过组合本地工具、远程 API 和不同模型来构建代理，客户端出现了同样重要的优化问题。客户端优化询问开发人员应如何分配可用资源，包括模型选择、本地工具和跨管道阶段的 API 预算，并受到特定于应用程序的质量、成本和延迟限制。由于这些目标取决于任务和部署设置，因此它们不能仅由服务器端系统确定。我们推出 AgentOpt，这是第一个用于客户端代理优化的与框架无关的 Python 包。我们首先研究模型选择，这是多步骤代理管道中具有高影响力的优化杠杆。给定一个管道和一个小型评估集，目标是找到最具成本效益的模型分配给管道角色。这个问题在实践中很重要：在我们的实验中，在匹配精度的情况下，最佳和最差模型组合之间的成本差距可以达到 13-32 倍。为了有效地探索呈指数增长的组合空间，AgentOpt 实现了十种搜索算法，包括 UCB-E、具有低秩分解的 UCB-E、Arm 消除、Epsilon-LUCB、阈值连续消除和贝叶斯优化。在四个基准测试中，UCB-E 恢复了接近最佳的准确性，同时相对于暴力搜索将评估预算减少了 62-76%。代码和基准测试结果可在 https://agentoptimizer.github.io/agentopt/ 获取。