LLM 中的组合推理操作

问题分解，即将复杂的查询分解为更简单的子查询，将其答案组合起来产生最终答案，是一种广泛使用的改进 LLM 推理的策略，但目前缺乏严格的数学基础。在本文中，我们提出了操作数、对多进一出操作及其组合进行建模的数学结构，作为描述问题分解的自然框架。我们定义了问题操作 $Q$，其中操作对应于问题模板，组合对应于子答案的替换，并展示了 QA 模型如何解释为 $Q$ 上的代数。除了重新构建现有实践之外，这种操作性观点还指向新方法，特别是操作性一致性的概念，它衡量 QA 模型的答案是否在问题分解树的部分折叠上一致。我们的配套论文（Bottman、Liu 和 Richardson，2026）中报告了对歌剧一致性的实证评估，该论文发现它与 12 个 LLM 和 4 个多跳 QA 数据集的准确性密切相关，并且优于基于标准温度的自一致性基线。我们认为，操作符是问题分解的自然数学家园，而操作符一致性等不变量为分析和提高多步推理的可靠性开辟了新的方向。