RaTA-Tool：基于检索的多模态工具选择 大语言模型

具有基础模型的工具学习旨在赋予人工智能系统调用外部资源（例如 API、计算实用程序和专用模型）的能力，以解决独立语言生成无法解决的复杂任务。虽然 大语言模型 (LLM) 和多模态 大语言模型 (MLLM) 的最新进展扩展了其推理和感知能力，但现有的工具使用方法主要限于纯文本输入和封闭世界设置。因此，他们很难解释多模式用户指令，并且无法推广到训练期间未见过的工具。在这项工作中，我们介绍了 RaTA-Tool，这是一种用于开放世界多模式工具选择的新颖框架。我们的方法不是学习从用户查询到固定工具标识符的直接映射，而是使 MLLM 将多模式查询转换为结构化任务描述，然后通过将此表示与语义丰富的机器可读工具描述进行匹配来检索最合适的工具。这种基于检索的公式自然支持新工具的可扩展性，而无需重新训练。为了进一步提高任务描述和工具选择之间的一致性，我们使用直接偏好优化（DPO）结合了基于偏好的优化阶段。为了支持这种情况下的研究，我们还引入了第一个用于开放世界多模式工具使用的数据集，其中包含源自 Hugging Face 模型卡的标准化工具描述。大量的实验表明，我们的方法显着提高了工具选择性能，特别是在开放世界、多模式场景中。