多样性与频率：重新思考视觉思维链代理中工具的使用

视觉代理在视觉思想链中使用外部视觉工具来整合细粒度的证据。虽然之前的工作主要研究了视觉搜索任务中的这些工具，但它们在更复杂的视觉推理中的作用仍未得到充分探索。在本文中，我们超越简单的视觉搜索任务，研究更具挑战性的任务，包括 3D 空间推理和医学视觉问答，其中代理必须将工具获取的本地证据与全局背景相结合。我们发现了一种{工具使用崩溃现象：模型逐渐停止使用工具，同时仍然实现更高的任务准确性。此外，我们观察到明显的不对称性：（i）完全消除工具的使用会降低性能，而（ii）尽管使用量大幅增加，但激励工具的使用仅产生边际收益。我们发现普通训练和工具使用鼓励都会降低轨迹采样多样性，这解释了为什么更高的工具使用率并不能产生更强的推理性能。受这些发现的启发，我们添加了熵正则化项来鼓励多样化的轨迹采样探索，尽管工具使用率逐渐下降，但仍能实现最佳性能。总体而言，我们的研究结果表明，在训练时将工具视为脚手架，尽管工具使用崩溃，但对语言生成和可视化工具调用的更广泛探索仍可改善推理。项目页面：https://scaffolded-exploration.github.io