论文
ToolOmni：通过具有主动检索和扎根执行的代理学习来实现开放世界工具的使用
ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution
摘要
大语言模型 (LLM) 通过利用外部工具增强解决问题的能力。然而，在具有大量且不断发展的工具存储库的开放世界场景中，依赖于静态嵌入检索或工具参数记忆的现有方法很难将用户意图与工具语义相一致或分别推广到看不见的工具，从而导致开放世界工具检索和执行的准确性不理想。为了解决这些问题，我们提出了 ToolOmni，这是一个统一的代理框架，它使 LLM 通过推理循环中的主动检索和基础执行来实现开放世界工具的使用。首先，我们构建一个冷启动多轮交互数据集，通过监督 微调 (SFT) 灌输基础代理能力。然后，我们引入基于解耦多目标 GRPO 算法的开放世界工具学习，该算法同时优化 LLM 在线环境中的工具检索准确性和执行效率。大量实验表明，ToolOmni 在检索和执行方面均实现了最先进的性能，在端到端执行成功率方面大幅超越了强大的基线 +10.8%，同时展现了卓越的稳健性和泛化能力。