用于多次迭代推理的链式递归语言模型

大语言模型 (LLM) 中的长上下文推理通常受到以下事实的限制：单个推理轨迹必须同时探索上下文、存储中间状态、验证证据并产生最终答案。这在需要提取、计数、排序或多跳推理的任务中变得尤其困难，在这些任务中，早期错误可能会传播到最终响应。在这项工作中，我们提出了链式递归语言模型（Chained RLM），这是一种推理时间架构，其中相同的底层模型作为一系列新的推理根被重复调用。每个根都会接收原始问题和上下文，但不会继承完整的对话历史记录。相反，它收到一个紧凑的纯文本摘要、一个纯文本黑板以及一些由前辈根源编写的持久的特定于任务的工件。其动机是通过分成部分任务而不是一个大的推理响应来管理上下文；在每个阶段计算中，可以通过同一模型的后续新推理来检查、纠正和扩展中间产物。我们描述了该系统的系统模型、切换机制、工件工作空间和评估协议。我们研究了即使使用递归工具调用，新上下文工件延续何时比直接 LLM 回答在准确性上获得可测量的增益。