LLM长上下文推理的分解视角

长上下文推理对于复杂的现实应用程序至关重要，但对于 大语言模型 (LLM) 来说仍然是一个重大挑战。尽管长上下文推理发展迅速，但当前的研究常常忽视长上下文推理任务本身的内部复杂性。在本文中，我们超越了这种整体视图，并将长上下文推理分解为一组基本的原子技能，然后自动合成一套伪数据集，每个数据集都明确针对特定的原子技能。我们的实证分析证实，这些原子技能的熟练程度与一般的长文本推理表现密切相关。基于这一见解，我们对这些伪数据集采用强化学习来提高模型的原子技能，希望提高其一般的长上下文推理能力。跨多个基准的大量实验证明了我们方法的有效性：它在 Loogle、Loong、LongBench-v2、BrowscompLong、Ruler-qa2 和 MRCR 上平均优于强基线 7.7%（从 46.3% 提高到 54.0%）。