论文
层次化思路：提升LLM推理性能和效率
Hierarchical Chain-of-Thought: Enhancing LLM Reasoning Performance and Efficiency
摘要
思想链（CoT）提示显着提高了大语言模型（LLM）的推理能力。然而，传统的 CoT 通常依赖于非结构化、扁平的推理链，这些推理链存在冗余和次优性能。在这项工作中，我们引入了层次思想链（Hi-CoT），这是一种结构化推理范式，专门用于解决复杂的多步骤推理的挑战。 Hi-CoT 通过在教学计划和逐步执行之间交替，将推理过程分解为分层子步骤。这种分解使 LLM 能够更好地管理长推理范围并保持逻辑一致性。对各种 LLM 和数学推理基准的广泛评估表明，与 CoT 相比，Hi-CoT 始终将平均准确度提高 6.2%（在某些模型和任务上高达 61.4%），同时将推理轨迹长度减少 13.9%。我们进一步表明，当模型严格遵守层次结构时，准确性和效率会最大化。我们的代码可在 https://github.com/XingshuaiHuang/Hi-CoT 获取。