Agentic LLM如何决定调用工具？工具调用向量与抑制机制

摘要

工具调用（按需调用外部工具）是 Agentic LLM 的核心，但决定模型是调用工具还是直接响应的机制仍然知之甚少。 Agentic 提示很长且高度结构化，结合了角色指令、工具模式、格式模板和数百个Token的用户请求，创建了一个嘈杂、高度复杂的上下文，其中没有明显的用于机制分析的单个可控变量。为了获得这样的变量，我们提出了一种方法，将复杂的 Agentic 提示转换为最小对比对，其中单个请求动词决定工具调用决策：用分析动词（例如，\textit{discuss}）替换执行动词（例如，\textit{write}）可靠地翻转决策，表明它是由紧凑的内部状态调节的。我们在 Python、Java 和 C++ 中构建了 500 个这样的配对提示（300 个用于机制分析，200 个用于评估）。我们将决策追踪到一个向量 $μ_Δ$，它在因果上是必要的和充分的，并且超出了发现提示，概括为本地多轮 $τ^2$-Bench 轨迹和无动词请求。行为消融表明支架建立了工具调用先验；然后，转码器分解揭示了分析动词通过表明不需要使用工具的特征来抑制先验，而执行动词则基本上保持其完整。下游支架读取注意力头和 MLP 特征读出结果状态，并且相同的机制在 Qwen、Mistral 和 Granite 系列的七个模型中重复出现。我们的代码可在 https://github.com/XijieGo/MI4ToolCalling。获取

Agentic LLM如何决定调用工具？工具调用向量与抑制机制：论文原图 — 图 4：MLP 主导形成窗口写入。左图，Qwen3-8B 组件输出投影到 μ^Δ\hat{\mu}_{\Delta} 上。右图是用于分解 MLP 写入的转码器架构。