LLM知道工具无关性吗？揭秘工具调用中的结构对齐偏差

大语言模型 (LLM) 在利用外部工具方面展示了令人印象深刻的能力。然而，在实践中，LLM 经常接触到与用户查询无关的工具，在这种情况下，所需的行为是避免调用。在这项工作中，我们发现了工具拒绝中普遍存在但被忽视的机制缺陷，我们将其称为结构对齐偏差：即使工具无法满足用户的目标，只要可以将查询属性有效地分配给工具参数，LLM 仍然倾向于调用它。为了系统地研究这种偏差，我们引入了 SABEval，一个新的数据集，它将结构对齐与语义相关性分离。我们的分析表明，结构对齐偏差会导致 LLM 中严重的工具调用错误，但在现有评估中仍然很大程度上未被考虑在内。为了研究这种偏见背后的内部机制，我们提出了对比注意归因，它揭示了语义检查和结构匹配的两种相互竞争的途径。这些路径的相对强度驱动着 LLM 的工具调用决策。基于这些发现，我们进一步引入了一种重新平衡策略，可以有效减轻结构对齐偏差，正如大量实验所证明的那样，并且不会降低一般工具的使用能力。