沙丘社区
论文

语言模型中的部分推理：由不确定性引导的搜索与精炼

Partial Reasoning in Language Models: Search and Refinement Guided by Uncertainty

Murilo da Luz, Bruno Brandão, Luana Martins, Gustavo Oliveira, Bryan de Oliveira, Luckeciano Melo, Telma Soares
模型推理推理搜索与路径规划

摘要

将大语言模型（LLM）用于推理与规划任务正引起人工智能研究越来越多的关注。尽管进步显著，这些模型在多步推理场景中仍显不足，尤其是数学与逻辑推理。我们提出 PREGU（Partial Reasoning Guided by Uncertainty）。PREGU 在自回归生成期间监控输出分布的熵，并在熵超过设定阈值（意味着不确定性）时中止该过程。从该点起，在潜空间中执行局部搜索，利用 Soft Reasoning 方法精炼部分推理并选出最连贯的答案。在 LLaMA-3-8B、Mistral-7B 与 Qwen2-7B 上跨四个推理基准（GSM8K、GSM-Hard、SVAMP 与 StrategyQA）进行的实验显示，其性能优于或接近 Soft Reasoning，表明熵可以作为在推理过程中触发选择性精炼的有效信号。

语言模型中的部分推理：由不确定性引导的搜索与精炼
图1：PREGU 架构总览。预训练 LLM（M ϕ M_{\phi}）在 token 空间中生成多条部分推理路径。当输出分布的熵（H t H_{t}）超过阈值（τ \tau）时，生成停止，标记出一个不确定区域。随后，每条部分推理序列使用 Soft Reasoning 方法在潜空间中得到精炼，产生候选响应（R 1 , R 2 , … , R n R_{1},R_{2},\ldots,R_{n}），并从中选出奖励最高的答案。