生成人工智能领域的战略候选

人工智能领域根据用户的成对偏好对生成模型进行排名，是衡量模型在有机使用过程中相对性能的流行方法。由于排名是根据嘈杂的偏好计算的，因此有人担心模型生产者可以通过提交许多模型（例如本质上相同模型的多个变体）来利用这种随机性，从而人为地提高其顶级模型的排名。这可能会导致排名质量下降，从而降低排名的实用性。在本文中，我们首先在理论上和根据来自平台 Arena（以前的 LMArena、Chatbot Arena）的数据校准的模拟中建立条件，在这些条件下，当生产者的目标是获得高排名时，他们可以从提交克隆中受益。然后，我们提出了一种通过成对比较对模型进行排名的新机制，称为 You-Rank-We-Rank (YRWR)。它要求生产者提交对自己模型的排名，并使用这些排名来纠正模型质量的统计估计。我们证明这种机制近似于克隆鲁棒性，从某种意义上说，生产者除了一次性提交每个独特模型之外，无法通过做任何事情来大幅提高其排名。此外，在模型生产者能够正确对自己的模型进行排名的范围内，YRWR 提高了整体排名的准确性。在进一步的模拟中，我们表明该机制确实具有近似克隆鲁棒性，并且即使在生产者排名错误的情况下，也可以量化排名准确性的改进。