IFDNS：面向忠实逻辑推理的迭代反馈驱动神经符号方法

摘要

大语言模型（LLM）已在包括逻辑与数学问题求解在内的广泛推理任务上展现出令人印象深刻的能力。虽然Chain-of-Thought（CoT）等基于提示的方法能在一定程度上增强LLM的推理能力，但它们常常缺乏忠实性：所得结论可能与生成的推理链不一致。为解决这一问题，研究者探索了神经符号方法来增强LLM的逻辑推理能力。然而，现有神经符号方法在过程中仍面临信息丢失的挑战。为克服这些局限，我们提出Iterative Feedback-Driven Neuro-Symbolic（IFDNS），一种新颖的基于提示的方法，采用多轮反馈机制来应对LLM处理复杂逻辑关系时的局限。IFDNS在逻辑抽取阶段利用迭代反馈，准确抽取因果关系陈述并将其翻译为命题与逻辑蕴含表达式，有效缓解信息丢失问题。此外，IFDNS与现有提示方法正交，可与多种提示方法无缝集成。在六个数据集上的实证评估证明了IFDNS在显著提升CoT与Chain-of-Thought with Self-Consistency（CoT-SC）性能方面的有效性。具体而言，IFDNS在LogiQA数据集上为CoT带来+9.40%的准确率提升，在PrOntoQA数据集上为CoT-SC带来+11.70%的改进。

IFDNS：面向忠实逻辑推理的迭代反馈驱动神经符号方法 — 图2：IFDNS 框架通过五个顺序阶段运作：(1) 在接收到 MCQA 输入后，LLM 从上下文中抽取因果关系陈述；(2) 从因果关系陈述中提取命题与蕴含表达式，同时对第一阶段和第二阶段进行多轮反馈。图中以红色高亮的陈述是反馈过程后即将被修改或删除的陈述；(3) 基于 Python 的演绎引擎通过逻辑推理规则扩展蕴含；(4) 将扩展后的蕴含翻译为自然语言以进行上下文增强；(5) 语序重排模块优化上下文排序，以支持 LLM 驱动的端到端推理。