论文
BOTTLED:Agent 能否把能力变为低成本可扩展产物?
Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
摘要
LLM能解决狭窄任务,但对数百万相关实例逐个调用可能太贵。我们问Agent能否自主创造更便宜方案,称这种平衡答案质量与摊销成本、把通用能力转成任务特定产物的能力为bottling。BOTTLED让Agent取得整个无标签负载,在固定时间、计算和API预算内自行选择训练小模型、编写可复用程序等路线。十模型、三任务显示,零样本强不可靠地转为产物强;相似零样本分数也可能有显著差异,60次运行中48次低于自身零样本表现95%置信区间下限,31次低于同词元预算的两个小模型蒸馏基线中较强者。但产物可显著省成本:查询—商品相关性任务中,Opus5保留约82%零样本macro-F1,报告成本约低657倍;相同任务恢复约94% Jev macro-F1,费用为该专用低成本System1模型预计全负载费用的四分之一。基准支持评估Agent如何用有限资源投资大规模重复负载的可复用解法。