软锦标赛均衡

通用人工智能体的评估，特别是基于大语言模型的评估，由于其交互的非传递性而提出了重大挑战。当智能体 A 击败 B、B 击败 C、C 击败 A 时，强制线性排序的传统排序方法可能会产生误导且不稳定。我们认为，对于这样的循环域，评估的基本对象不应该是排名，而是集值核心，正如经典锦标赛理论中概念化的那样。本文介绍了软锦标赛均衡 (STE)，这是一种可微框架，用于直接从成对比较数据学习和计算集值锦标赛解决方案。 STE 首先学习概率锦标赛模型，该模型可能以丰富的上下文信息为条件。然后，它采用新颖的可微运算符来实现软可达性和软覆盖，以计算两个开创性锦标赛解决方案的连续模拟：顶循环和未覆盖集。输出是一组核心代理，每个核心代理都有经过校准的会员分数，提供对代理能力的细致而可靠的评估。我们开发了 STE 的理论基础，以证明其在零温极限下与经典解的一致性，从而建立了其孔多塞包含特性，并分析了其稳定性和样品复杂性。我们指定了一个实验协议，用于在合成基准和现实基准上验证 STE。这项工作旨在提供一篇完整的、独立的论文，将一般代理评估重新集中在更合适和更稳健的理论基础上，从不稳定的排名转向稳定的、设定值的均衡。