论文

超越符号求解:面向大语言模型几何推理的多思维链投票

Beyond Symbolic Solving: Multi Chain-of-Thought Voting for Geometric Reasoning in Large Language Models

模型推理推理搜索与路径规划

摘要

几何问题求解(GPS)始终是提升大语言模型数学推理的核心,因为它要求结合图形理解、符号操作与逻辑推断。在现有文献中,研究者主要聚焦于将图形描述与文本字面信息同步并求解问题。沿此思路,他们或采用神经方法、符号方法,或神经符号方法。但这仅解决了前两项要求,即图形理解与符号操作,而逻辑推断仍欠发展。逻辑推断往往局限于单条思维链(CoT)。为弥补现有模型的这一弱点,本文提出MARS-GPS:生成多条并行推理rollout并以Python代码执行做数值验证,用token级熵作为置信信号对它们排序,再通过多阶段投票与自我验证流水线聚合答案。实验结果显示,采用8条并行rollout的MARS-GPS在Geometry3K上取得88.8%,较先前最优水平提升近+11%,且随着rollout数量从1增加到16,准确率持续提升(消融子集上+6.0%)。我们在匿名仓库提供代码与数据:https://anonymous.4open.science/r/MARS-GPS-DE55。

超越符号求解:面向大语言模型几何推理的多思维链投票:论文配图
图 1:用于几何问题求解的多路径聚合推理系统 (MARS-GPS) 流程概述。左:问题解析阶段将图表和问题文本作为输入,并通过 PGDPNet 和基于规则的语义解析器生成统一的形式上下文 ℱ*\mathcal{F}^{*}。右图:推理时间集成推理阶段从 fθf_{\theta} 中采样 kk 个并行部署,每个部署都使用 Python 沙箱 ℰ\mathcal{E} 进行增强以进行数值计算。推出输出输入答案聚合管道,该管道应用多数投票、熵排序自我验证和加权后备来生成最终答案 a*a^{*}。