启发式思维分类提示（HCoT）：将专家系统结构化推理启发式融入大语言模型

本文针对大语言模型（LLM）求解复杂问题的两个局限：(1) 其推理过程呈现类贝叶斯的随机生成，每个词元都从依赖上下文的概率分布中采样，导致决策轨迹本质上随机而非确定性规划；(2) 推理与决策机制静态解耦，即动态检索到的领域知识无法动态调整底层推理策略。这双重缺陷导致初始决策缺乏策略锚定，且推理链常无法收敛到正确解，因为随机生成在顺序推理过程中缺乏轨迹校正或知识引导优化的机制。为解决这些问题，我们提出一种融入LLM生成过程以引导推理的解题方法。该方法兼容众多LLM并具有可复用解法的特点，其基础是一种新颖的启发式思维分类提示模式（Heuristic-Classification-of-Thoughts, HCoT）。HCoT通过一个控制推理过程并提供可复用抽象解法的启发式分类模型，将LLM的推理能力与结构化问题空间协同起来。在两个具有病态定义搜索空间的复杂归纳推理任务上，HCoT在性能上优于现有方法（如Tree-of-Thoughts和Chain-of-Thoughts提示）。在结构良好的24点（24 Game）任务上，HCoT相比最先进的Tree-of-Thoughts-Breadth-First-Search展现出显著更高的词元效率。在准确率与词元用量两方面，HCoT达到帕累托前沿平衡，在性能与计算成本之间提供了有力权衡。