选择是检索，弃权不是：设备上工具路由超过 70 个韩英操作

调用工具的人工智能助手会对每个请求做出两个决定：调用哪个工具，以及是否适用任何可用工具。在通常的设计中，单一语言模型通过发出调用或拒绝发出调用来实现这两种功能。在必须在没有服务器的情况下应答的设备上，语言模型使得该设计变得昂贵，并决定了路由器的延迟和内存。常见的替代方案是完全删除模型并使用检索器对本地操作目录进行排名。这种替代在两个决定中并不对称。检索器为每个输入返回得分最高的候选者，并且不能发出信号表明目录不包含有效操作。我们早期的研究发现，将解码器限制为工具语法可以修复格式错误的输出，而不会改进选择。每个决策的替代成本尚未衡量。我们根据 600 多个韩语和英语请求以及 70 个本地操作目录分别评估了这两个决策。路由器还可能会请求缺少的槽、回复或委托。一半的目录内请求重用目录词汇，一半对其进行释义，将词汇重叠与请求的操作分开。字符 3-gram BM25 选择 164 个词汇匹配请求中的 162 个以及 166 个释义中的 85 个。将候选集限制为 7 会使五次试验中的释义值平均值提高到 0.825。没有分类器在其分数特征上将目录内和目录外的曲线下面积高于 0.697 分开，其中冻结编码器 multilingual-e5-base 达到 0.806。仅使用该编码器进行弃权就可以将 376 个请求保留在本地，并错误路由 150 个需要授权的请求中的 9 个。需要神经成分的是弃权，而不是选择。神经排名器改进了每个质量指标，但在延迟和内存方面而不是准确性方面被拒绝。