通过边缘锐化实现自我一致性

推理时间采样可以从语言模型中激发出强大的推理能力，而无需额外的训练。现有的功率采样方法通过锐化完整生成输出的分布来实现这一点，有利于模型下单独可能的完成。我们认为，这是错误的推理目标：完成将推理轨迹与最终答案纠缠在一起，而重要的是答案是否得到许多合理推理路径的支持。因此，我们将目标从完全输出分布转移到锐化答案边际，使自我一致性成为推理时目标而不是事后投票标准。令人惊讶的是，这个边际目标承认一种有效的近似：我们提出了一种简单的、纯自回归的并行采样算法，该算法从锐化的答案边际中进行近似采样，在数学和编码基准上获得比标准功率采样更强的性能，同时速度快几个数量级。