工具检索桥：通过桥模型将模糊指令与检索器首选项对齐

摘要

工具学习已成为大语言模型 (LLM) 解决现实世界挑战的有前途的范例。由于工具数量广泛且不定期更新，因此用于选择所需工具子集的工具检索至关重要。然而，当前的工具检索方法通常基于包含过于详细的指令（例如具体的 API 名称和参数）的学术基准，而现实世界的指令则更加模糊。这种差异将阻碍现实应用中的工具检索。在本文中，我们首先构建一个新的基准测试VGToolBench来模拟人类模糊指令。基于此，我们进行了一系列初步分析，发现模糊指令确实损害了工具检索的性能。为此，我们提出了一种简单而有效的工具检索桥（TRB）方法来提高模糊指令的工具检索性能。 TRB的原理是引入桥接模型，将模糊指令重写为更具体的指令，并缩小模糊指令与检索器偏好之间的差距。我们在多种常用检索设置下进行了大量实验，结果表明TRB有效地减轻了模糊指令的歧义，同时在所有基线检索器上提供了一致且实质性的改进。例如，在TRB的帮助下，BM25实现了高达111.51%的相对提升，即平均NDCG得分从9.73提高到19.59。源代码和模型可在 https://github.com/kfchenhn/TRB 上公开获取。