OpenVisTool：用于合成指导性视觉工具使用轨迹的开放方法

视觉工具的使用已成为多模式代理主动获取固定图像编码之外的证据的基本能力。流行的方法是从教师生成的轨迹中学习这种能力，并过滤答案的正确性，隐含地假设每次成功的演示都提供有效的监督。我们认为这个假设是有缺陷的：一位优秀的老师经常在不需要工具调用的情况下得出正确的答案，并且模仿这样的轨迹告诉学生工具调用伴随着正确的答案，而不是工具观察为他们提供了基础。我们提出了 OpenVisTool，这是一个开放框架，用于构建指导性的可视化工具使用轨迹，为工具学习提供有效的监督。关键的见解是，只有当答案正确（结果有效性）并且其工具观察对该答案有因果贡献（因果效用）时，才应保留轨迹。该框架分三个阶段运行：困难筛选以选择没有工具就无法可靠回答的查询，特定领域的轨迹合成以得出连贯的工具使用轨迹，以及监督验证以联合测试这两种条件。由此产生的监督不是鼓励模型模仿工具调用，而是教导应该何时以及如何获取视觉证据。使用这个框架，我们构建了 OpenVisTool-42K（一个跨越五个视觉推理领域的数据集）以及 OpenVisTool-Bench（涵盖相同领域的基准）。在四个主干网 (4B-27B) 中，OpenVisTool-42K 上的 微调 持续提高可视化工具使用性能，并在两个发行版外基准测试中获得收益；较大的模型接近领先的闭源系统。有证据表明，有效的视觉工具使用是从因果监督中学习的，而不是从工具调用模式中学习的。