论文

具体化命题提示解决大语言模型的组合—知识二分

Concretized Proposition Prompting Resolves Composition-Knowledge Dichotomy in Large Language Models

模型推理推理策略与问题分解

摘要

LLM常难以平衡组合性与知识性——我们定义为组合—知识二分的挑战。为此我们提出具体化命题提示(CPP):显式具体化与问题相关命题的框架。结果演示CPP显著增强推理表现——尤其在精确知识至上的医学基准——同时在优先演绎推理的数学基准上保持竞争力。附加实验揭示CPP可扩展到各种基础模型与参数规模——作为弥合组合型与知识型方法差距的基础范式。因此CPP通过为逻辑组织且事实落地的推理提供坚实基础,解决了组合—知识二分。

具体化命题提示解决大语言模型的组合—知识二分:论文配图
图 1:具体命题提示 (CPP) 框架概述。 CPP框架由三个阶段组成:(1)命题生成,将相关命题具体化为四类(TP、TN、FP、FN)以揭示潜在的推理路径; (2)基本原理和答案生成,生成的命题指导模型得出最终答案; (3)提示优化,使用DSPy优化器根据命题质量和答案准确性的总奖励联合更新提示。