模型库中的 CUPID：通过在线偏好匹配选择合适的大语言模型

大语言模型的选择越来越多，各模型的潜在特征又各不相同且不透明，用户因而很难为特定任务选择合适的模型。用户也可能缺少必要的表达方式，或尚未明确意识到自己重视回答与部署中的哪些特征。本文提出交互高效的主动学习框架：对决多臂老虎机算法迭代选择成对模型，收集用户对回答的反馈，并更新对用户潜在偏好的估计。 作者提出一种考虑偏好信念的上置信界策略，在探索模型池和利用已推断偏好之间取得平衡，在用户指定的成本和时间预算下匹配需求与模型能力。多种模型实验及人类参与研究验证，该方法能够以较低成本有效匹配更符合用户偏好的模型。