ToolGate：面向工具增广视觉语言智能体的token高效调用前控制

工具增强视觉语言代理可以通过 OCR、检测、分割和其他工具获取外部感知证据，但执行每个建议的工具调用成本高昂，有时甚至是不必要的。我们研究预调用控制问题：在 ReAct 风格的 VLM 代理提出感知工具调用之后，在其输出进入上下文之前应该执行还是跳过该调用？在五个基准测试中，我们发现基线代理表现出较差的本地选择性：有用和有害的呼叫发生率相似（11.8% 与 9.9%），而大多数呼叫不会改变立即强制应答预测。我们引入了 ToolGate，这是一种轻量级外部控制器，可以根据轨迹文本和简单的结构特征预测执行/跳过决策。在两个 Qwen3-VL 主干上，ToolGate 将词元成本降低至无限制 ReAct 基线的 64-69%，同时保持跨域设置的平均准确性。通过在Qwen3-VL-30B上进行匹配域轨迹训练，平均准确率进一步提高了1.65分。这些结果表明，工具增强的 VLM 代理不仅受益于更好的感知工具，还受益于对工具输出何时值得付费的明确控制。