当工具妨碍时：不必要的工具可用性对大语言模型答题的影响

大型语言模型 (LLM) 越来越多地使用外部工具进行部署，这些工具扩展了他们的能力范围，超出了他们自己的知识范围。工具有助于完成需要外部信息的任务，但它们的可用性也可能会改变模型处理不需要它们的问题的方式。之前的工作主要询问模型是否适当地选择和使用工具；不必要的工具是否会改变答案的正确性受到的关注较少。我们询问提供相关但不必要的工具是否会影响模型根据自己的知识进行回答的能力，以及先前的工具交互是否会改变这种行为。我们构建了 10 个知识领域的 500 个查询对。每对都包含一个工具查询（需要域的工具）和一个闭域查询（不需要域的工具）。六个大语言模型在工具不可用、可用和先前工具调用后可用的情况下进行评估。在 3,000 项基线试验中，汇总回答率为 98.2%。当不需要的工具可用时，该比例会下降至 63.5%，不同型号之间差异较大。即使很少调用该工具，这种减少也会发生，因此不能仅用不必要的工具调用来解释。一句话范围感知系统指令可以恢复大部分丢失的答案。