论文

带概率常识的溯因推理

Abductive Reasoning with Probabilistic Commonsense

模型推理推理搜索与路径规划

摘要

改进大语言模型(LLM)推理能力的近期努力聚焦在神经符号框架内集成形式逻辑求解器。一个关键挑战是形式求解器缺乏常识世界知识,无法做出人类认为显然的推理步。既往方法用LLM补充缺失的常识假设,但这些方法隐含假设此类常识事实存在普遍一致。现实中常识信念因人而异。我们提出溯因常识推理的概率框架:显式建模这种差异,旨在判断多数人会把一个陈述判为真还是假。我们引入概率溯因常识(PACS):一个新颖算法,用LLM与形式求解器把证明采样为个体不同常识信念的观测,并跨样本聚合结论。实证上PACS跨多基准超越思维链推理、既往神经符号方法与基于搜索的方法。

带概率常识的溯因推理:论文配图
图 3:两个非常相似的推理路径与相反答案的比较。在左边,我们看到一个推理路径,其中在步骤 3 中引入了一个不一定为假但分数增加的步骤。这显然“抛弃”了LLM,因为它的下一步只是最终(错误)的答案。然而,在右侧,我们看到步骤 3 降低了分数,使路径更接近逻辑上有效的最终答案。 LLM继续忠实地推理,最终回答正确。