论文
开放、可靠与集体化:面向工具使用AI智能体的社区驱动框架
Open, Reliable, and Collective: A Community-Driven Framework for Tool-Using AI Agents
摘要
工具集成的大语言模型可以通过外部工具检索、计算和采取现实世界的行动,但可靠性仍然是一个关键瓶颈。我们认为失败源于工具使用准确性(代理调用工具的程度)和内在工具准确性(工具本身的正确性),而大多数先前的工作强调前者。我们推出了 OpenTools,这是一个社区驱动的工具箱,它可以标准化工具模式,提供轻量级的即插即用包装器,并通过自动化测试套件和持续监控来评估工具。我们还发布了一个公共网络演示,用户可以在其中运行预定义的代理和工具并贡献测试用例,从而使可靠性报告能够随着工具的变化而发展。 OpenTools 包括核心框架、初始工具集、评估管道和贡献协议。实验和评估表明端到端的可重复性和任务性能得到了改善;社区贡献的、更高质量的特定任务工具在下游任务和基准测试方面比跨多个代理架构的现有工具箱提供 6%-22% 的相对收益,凸显了工具内在准确性的重要性。
