论文
PRIME:大语言模型 中算法推理的策略强化迭代多代理执行
PRIME: Policy-Reinforced Iterative Multi-agent Execution for Algorithmic Reasoning in Large Language Models
摘要
大语言模型 在不同的推理任务中表现出了卓越的能力,但其在算法推理上的表现仍然有限。为了解决这个限制,我们提出了 PRIME(策略强化迭代多代理执行),这是一个由三个专门代理、一个用于逐步推理的执行器、一个用于约束检查的验证器和一个用于回溯控制的协调器组成的框架,并通过组相关策略优化进行优化。为了进行全面评估,我们引入了 PRIME-Bench,这是迄今为止最大的算法推理基准,包含 12 个类别的 86 个任务和 51,600 个实例。任务涵盖排序算法、图形和树结构、自动机和状态机、符号推理和基于约束的谜题,执行轨迹达到超过一百万步。与基线方法相比,PRIME 将平均准确率从 26.8% 提高到 93.8%,相对增益提高了 250%。最大的改进发生在需要持续状态跟踪的任务上,图灵机模拟从 9% 提高到 92%,长除法从 16% 提高到 94%。消融研究将迭代验证确定为主要贡献者,防止错误传播导致基线方法灾难性失败。跨模型尺度(8B-120B 参数)的分析表明,较小的模型受益匪浅,其精度可与 8 倍大的模型相媲美。