论文

推理使错误集中,而自洽方法未能察觉

Reasoning Concentrates Errors, and Self-Consistency Never Notices

模型评测模型行为与机制分析

摘要

自我一致性假设当模型不确定时独立样本会不一致,因此一致是正确性的证据。保持权重固定并仅切换推理模式,在五个基准和 74,944 个样本中,我们表明推理集中了模型的错误:在所有 10 个数据集规模比较中,两个独立得出的错误答案重合的概率都会上升 (p = 0.00098),并且在将双臂限制在问题上时,九个中的九个都将出现错误。当答案空间无界时,推理将产生的不同答案减少到非推理计数的 0.43-0.65;在有界的地方,两个手臂都持有相同的选项集,并且推理将质量集中在它上面,这是没有位置先验可以在固定权重下解释的。总成本比机制预测的要小,因为推理还缩小了答案多样性可以决定任何事情的问题集,在十个单元中的十个中缩小了 2.7 倍;对于可用净空进行归一化,两个臂都将四分之一的净空转换到域中。置信权重并不能恢复剩下的内容。在 8 个模型和 5 个基准的 280 种方法-数据集-模型组合中,没有一种组合能够在修正后击败简单多数投票;加权投票在 98.5% 的问题-方法对上一致,在其余问题-方法对上的正确率为 56.3%;信号的方向可以在固定权重内反转,答案对数概率在推理关闭时预测正确性,在推理打开时预测错误。学习到的六信号组合不会获得任何超出域的结果。信心信号应该根据决策而不是歧视来评估。