论文

借Agentic进化在LLM定价菜单上实现每个价位点的竞争

Competing at Every Price Point with Agentic Evolution over a Menu of LLMs

智能体系统Agent Harness

摘要

设想一家企业调研其竞争对手在某个Agentic任务上的表现,并寻求在每个价格点上都提供更高的准确率。一家若能帕累托支配所有竞争对手的企业,将不会给任何理性顾客留下到别处购买的理由。本文展示了一条通往这种能力的路径:从至多100个样本的训练池出发,在多个LLM组成的菜单上开展Agentic进化。给定一份包含九个LLM端点的定价菜单、关于任务、目标与API的简短文档、一个简单的种子智能体,以及操作者选定的每问题成本目标(通常设为某现有竞品自身的价格),RoboPhD这一进化元智能体进化出完整的智能体程序,在两个语义上迥异的任务上逐点攻击公开前沿:DS-1000(经执行校验的代码生成)与PaperFindingBench(经LLM评判的科学文献检索)。经官方评分的提交在两个任务的排行榜上合计占据了除一个之外的所有帕累托前沿席位,其中包括对最高得分点与最低成本竞争点的帕累托支配。