论文
SafetyRepro:对齐基准上的配置条件排名不稳定性
SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks
摘要
从基础模型基准中得出的成对模型比较(“A 比 B 更安全”)被视为定量结论,但取决于未指定的Harness选择基准论文。我们在这个原语上关闭了一个理论基准循环:一个有限包络命题,将可测量的成对不一致率与严格排序是否允许配置对反转联系起来,并与一个带有提交标记的评估协议配对,该协议在广泛引用的对齐基准上对其进行操作。在我们测试的每个基准测试中,仅配置选择就可以推翻成对的判决;该命题隔离了这种严格反转故障模式。