论文
PORTS：偏好优化的 检索器，用于使用 大语言模型 选择工具
PORTS: Preference-Optimized Retrievers for Tool Selection with Large Language Models
摘要
将外部工具与 大语言模型 (LLM) 集成已成为完成复杂任务的有前途的范例。由于 LLM 仍然难以有效管理大型工具集合，因此研究人员已开始探索基于检索的方法来预先选择最相关的选项，解决输入长度和延迟限制。然而，由于其单独的训练过程，现有的 检索器 通常与工具调用 LLM 不一致。本文提出了 PORTS，一种用于训练 检索器 的新型优势比偏好优化方法，旨在工具选择。使用来自冻结的 LLM 的困惑启发的偏好信号，我们的方法对 检索器 进行微调，通过优化选择概率和下游性能之间的相关性来找到有用的工具，同时共同强制文档字符串之间的对比语义损失。通过对六个数据集、两个编码器模型和三个具有不同先验知识的 LLM 进行大量实验，证明了 PORTS 的多功能性及其显着提高工具选择准确性的能力。由于计算需求较低，我们的对齐过程有助于推广到新的查询和工具，证明对于不断发展的工具集的实际应用有价值。