NTILC：通过学习压缩调用神经工具

代理工具调用语言模型依赖于可调用 API、函数和本地操作的大型注册表。将完整的工具规范直接放在提示中会产生与工具注册表的大小线性缩放的成本，从而快速消耗上下文预算。随着注册表的增长，这会导致更高的延迟并降低选择准确性，特别是由于不相关工具的干扰。我们通过引入 NTILC 克服了这些限制，NTILC 是一种神经工具选择和调用框架，它用学习的潜在检索取代了上下文中的注册表查找。 NTILC 将用户意图和工具规范映射到共享嵌入空间中，从而可以通过外部检索而不是上下文内查找来选择工具。语言模型仅以选定的工具模式为条件，允许精确、受约束的参数生成。我们方法的核心是签名感知的复合目标，它通过从工具签名派生的约束（例如参数模式、类型兼容性和返回类型）增强语义相似性。通过将循环损失与功能边际损失相结合，该模型强制执行语义相似但在执行签名下不兼容的工具之间的分离。我们在公共工具选择和函数调用数据集上评估 NTILC，并报告上下文标记使用情况、检索准确性和选择延迟指标。在这些设置中，与长上下文 ICT 基线相比，NTILC 将上下文窗口消耗减少了 95% 以上，推理延迟最多减少了 74%。