当大都会和黑斯廷斯遇见布拉德利和特里：来自偏好投票的精确 MCMC

从以所需语义属性为条件的分布中进行采样是现代生成建模中的一个新兴挑战。 Metropolis-Hastings (MH) 提供了条件抽样的原则性途径，但需要访问精确的逐点目标密度评估，这在生成环境中不可用。与此同时，人类或模型“法官”进行的成对比较非常容易实现，并且在不同的应用中已被证明是有价值的。我们引入了 Pref-MH，一种通用的精确 MH 采样器，用于仅使用随机二进制成对比较来判断诱导条件分布。我们的主要观察结果是 MH 非标准化密度比与 Bradley-Terry (BT) 选择模型的偏好赔率相匹配。核心挑战是，虽然 MH 需要精确的比率计算，但 BT 法官仅提供采样的二进制反馈。为此，我们开发了一个有效的接受/拒绝规则，其生成的马尔可夫链可证明收敛于目标分布。我们进一步表明，对于固定的提案内核和预算，在此类精确可逆接受规则中，Pref-MH 在 Peskun-Tierney 意义上是最优的。使用 LLM 判断器进行文本生成和分子设计以及使用 VLM 判断器生成图像的实验表明，当比较反馈相对容易获得时，Pref-MH 提供了一种实用且灵活的条件采样方法。