多模式代理真的能从工具的使用中受益吗？能力增益的系统研究

工具增强的多模式代理显示出强大的基准收益，通常被视为代理已经学会使用工具的证据。我们认为这种解释可能为时过早：工具调用跟踪本身并不能显示该工具是否提供了关键答案信息。我们研究了两种具有代表性的“用图像思考”代理：Thyme 和 DeepEyesV2，涉及现实世界理解、OCR、图表理解和数学推理。每个代理都会与它的无工具对应代理以及从相同源池训练的纯文本推理器进行比较，而无需工具调用轨迹。工具访问几乎不会产生一致的总体改进，不能可靠地降低生成词元的成本，并且只留下一小部分仅由工具解决的问题：DeepEyesV2 的 93% 的工具解决问题和 96% 的 Thyme 问题也通过至少一种非工具设置解决。机制消融进一步表明，完整的工具使用循环并不总是优于工具调用格式或单独返回的执行结果。在我们研究的环境中，被分析的智能体似乎比工具贡献的能力更可靠地学习工具调用模式，这表明评估应该区分工具可用性和工具是否真正扩展了智能体可以解决的问题。