代码生成的多数投票

我们研究了功能多数投票 (FMV)，这是一种基于使用 大语言模型 进行代码生成的功能共识的方法，它使用测试输入上的运行时执行签名来识别多代中的代表性解决方案。我们发现 FMV 是一种有效的测试时推理策略，可以在不产生大量计算开销的情况下显着提高 LiveCodeBench 的性能。此外，我们扩展了功能共识的效用，并将其用作无标签测试时强化学习的聚合策略。我们证明这会增加坚持任务的 pass@1，但没有发现自我改进超出基本模型性能上限的证据。