论文
LLM作为ASP程序员:自我校正实现任务无关的非单调推理
LLMs as ASP Programmers: Self-Correction Enables Task-Agnostic Nonmonotonic Reasoning
摘要
近期的大语言模型(LLM)取得了令人瞩目的推理里程碑,但仍受困于高昂的计算成本、逻辑不一致以及在极高复杂度问题上的性能骤降。神经符号方法试图通过将LLM与符号推理器耦合来缓解这些问题,但现有方法通常依赖无法表达可废止推理的单调逻辑(如SMT),而可废止推理是人类认知的基本组成部分。我们提出“LLM+ASP”,一个将自然语言翻译为答案集编程(ASP)的框架,ASP是基于稳定模型语义的非单调形式体系。与以往需要人工编写知识模块、领域特定提示,或评估仅限单一问题类的“LLM+ASP”方法不同,我们的框架无需任何针对任务的工程即可运行,并统一适用于多样的推理任务。我们的系统利用一个自动化自我校正循环,来自ASP求解器的结构化反馈支持迭代改进。在六个多样化基准上的评估表明:(1)稳定模型语义使LLM能够自然地表达默认规则与例外,在非单调任务上以显著优势超越基于SMT的替代方案;(2)迭代自我校正是性能的主要驱动力,可有效替代手工编写的领域知识;(3)紧凑的上下文内参考指南显著优于冗长文档,揭示了“上下文腐化”(context rot)现象——过多的上下文会妨碍对约束的遵循。
