Eta 鉴于 Delta：使用边际工具效用定义 LLM 工具效率

本文介绍了工具效率，这是一种新的定量指标，用于评估 LLM 代理轨迹中有用工具调用的比率。为了确保工具效率得到明确定义，我们还引入了边际工具效用，这是为每个工具调用定义的新定量指标，指示工具是否有用或是否可以安全地从工具套件中删除而不影响准确性，同时提高工具效率；在本文中，我们使用 LLM-as-a-Judge 确定轨迹中每个工具调用的边际工具效用符号。虽然之前已经做了很多工作来开发改进 LLM 工具使用的技术，并设计使用准确性作为代理间接测量效率的评估方法，但我们的工作重点是通过本文在事后轨迹分析中提出的定量指标直接测量效率。我们的目的是，这项工作为 LLM 评估研究的前沿做出贡献，作为未来基准设计和代理利用工程（特别是在创建精益工具套件方面）的跳板，优化补充但不同于准确性的指标。