论文
工程简单性:简单的机制接口引导 LLM Agent
Engineering Simplicity: Simple Mechanism Interfaces Steer LLM Agents
摘要
交互格式和文本支架可以帮助大语言模型(LLM)Agent做出更好的决策吗?更好的决策是否伴随着更好的解释?我们在具有明确规则和已知最优策略的拍卖和匹配、多Agent环境中研究这些问题。这些设置让我们可以改变决策问题的呈现方式,同时保留评估行为的基准。借鉴人类驱动的简单性理论,我们将引发完整出价或排名的界面与使安全选择更容易识别的顺序界面进行比较。然后,我们保持交互格式固定并改变推理支架和规则描述。在四个模型系列中,升序拍卖界面大大减少了出价偏差。匹配比较还显示了为什么顺序响应需要与完整排名不同的错误计算。列出可能带来的回报并解释为什么说真话是安全的也可以改善选择,而提示通过匹配回合进行计划或形成对对手的信念会使整体游戏变得更糟。在拍卖中,这些行为收益并没有伴随着Agent简短计划中战略理解的口头指标的相应改善。其他提示会改变这些指标,但不会提高出价。我们的研究结果表明,人类驱动的简单性理论可以为人工智能体的决策环境设计提供信息。它们还说明了为什么应该通过已实现的选择和解释来评估支架:一个方面的改进不一定会出现在另一个方面。