知识模型提示提升 LLM 在规划任务上的性能

大语言模型（LLM）可能在推理能力与规划任务上表现吃力。为辅助 LLM 推理，许多提示技术被开发出来，其中著名的是思维链（CoT）；然而，随着 LLM 是否真正具备推理能力本身受到质疑，这些技术也遭到审视。本文借鉴认知科学与教育科学领域，考察任务-方法-知识（TMK）框架能否在其在教育应用中已获验证的成功之外，进一步提升 LLM 的推理能力。TMK 框架能够捕捉因果、目的论与层级化的推理结构，并具备显式的任务分解机制，因而特别适合应对语言模型的推理缺陷；而且与 HTN、BDI 等其他层级框架不同，TMK 不仅显式表示要做什么、怎么做，还表示为何采取这些行动。本研究在 PlanBench 基准上聚焦 Blocksworld 域开展实验来评估 TMK，测试推理与规划能力，检验 TMK 结构化提示能否帮助语言模型更好地把复杂规划问题分解为可管理的子任务。结果还凸显了推理模型中的显著性能反转。TMK 提示使推理模型在不透明的符号任务（PlanBench 中 Blocksworld 的 Random 版本）上取得最高达 97.3% 的准确率，而此前其在该任务上是失败的（31.5%），这提示有望弥合语义近似与符号操作之间的鸿沟。我们的发现表明，在本实验语境中，TMK 不仅充当上下文，还充当一种机制，引导推理模型摆脱其默认的语言模式，转而启用形式化、代码执行的路径。