论文
量化预算受限智能体LLM搜索中设计决策对准确率与成本的影响
Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search
摘要
智能体检索增强生成(RAG)系统将迭代搜索、规划提示与检索后端相结合,但部署环境会对工具调用与补全token施加显式预算。我们开展了一项受控测量研究,考察在固定约束下搜索深度、检索策略与补全预算如何影响准确率与成本。借助Budget-Constrained Agentic Search(BCAS)——一个显示剩余预算并对工具使用设限的模型无关评测装置——我们在六个LLM与三个问答基准上进行了比较。跨模型与数据集来看,准确率随搜索次数增加而提升,但在较小上限处趋于饱和;词汇与稠密混合检索加轻量重排序在我们的消融网格中产生最大平均增益;更大的补全预算对HotpotQA式的综合类任务最有帮助。这些结果为配置带预算的智能体检索管线提供了实用指导,并附有可复现的提示词与评测设置。