缺失的系数：模型个性化的贝叶斯成对合并

我们如何根据用户的成对选择来个性化共享专家库？先前的工作可以在给定权重向量的情况下，通过合并专门奖励的专家来实现不同的奖励权衡。在实践中，用户可以更自然地在输出之间进行选择，而不是指定数字权重。因此，挑战是将这些选择转化为合并所需的系数，同时在反馈有限时考虑模糊性。我们的关键思想是将未知的奖励权重视为潜在变量：从成对选择和奖励分数差异中推断出它们的后验，并直接使用其均值作为合并系数。我们将这个想法实例化为贝叶斯成对合并（BPM），其后验还描述了在给定反馈的情况下哪些奖励权衡仍然合理。我们评估放射学摘要、图像字幕和故事生成（涵盖文本到文本和图像到文本生成）方面的 BPM。通过每个模拟角色 100 个反馈，BPM 相对于统一合并实现了 91.7%、77.1% 和 64.3% 的宏观决定胜率。对于六对模拟角色，每个角色都更喜欢适合自己反馈的模型，这种模式也在人类概念验证中观察到。在 BPM 模型和先前模型下的模拟中，其温度标度奖励权重的标称 90% 区间仅通过 10 次和 25 次比较就分别实现了 88.9% 和 89.2% 的任务平均边际覆盖率。因此，BPM 无需针对每个用户进行策略训练即可通过成对反馈实现个性化，同时表征有限反馈留下的系数模糊性。