RecaLLM：通过显式上下文检索解决陷入困境的现象

我们提出了 RecaLLM，这是一组经过后训练的推理语言模型，可以有效利用长上下文信息。上下文检索，从上下文中识别相关证据，与推理紧密地交织在一起：检索支持推理，而推理通常决定必须检索什么。然而，它们的相互作用在很大程度上仍未得到充分探索。在几个开源 LLM 的初步实验中，我们观察到，即使在较短的推理跨度之后，上下文检索性能也会大幅下降，这揭示了测试时间扩展的一个关键瓶颈，我们称之为“迷失”：提高性能的推理步骤也使后续的上下文检索更具挑战性。为了解决这一限制，RecaLLM 将推理与显式上下文检索交织在一起，在推理和检索解决中间子问题所需的上下文信息之间交替。我们引入了一种可忽略的开销受限解码机制，可以逐字复制证据范围，从而改善后续生成的基础。经过不同词汇和语义检索任务的训练，RecaLLM 在两个长上下文基准（RULER 和 HELMET）上取得了出色的性能，显着优于基准。值得注意的是，我们观察到使用最多 10K 个 token 的训练样本在最多 128K 个 token 的上下文窗口中获得了一致的增益，远远短于现有的长上下文方法所使用的增益，这突显了在无需昂贵的长上下文训练数据的情况下提高长上下文性能的有希望的途径。