GraphNIAH以新论文引用图构建可验证长上下文多跳问答

大海捞针 (NIAH) 基准测试是为了衡量模型在大量输入文本中查找小的相关事实的能力而引入的。然而，现有的 NIAH 基准都存在以下一个或多个限制：（1）依赖合成数据，因此它们的评估可能无法推广到现实世界的环境； （2）重复使用之前发布的数据集，导致基准污染的风险； （3）依赖人工标注，需要人工创建和更新数据，并且很容易受到未来基准污染的影响； (4) 长上下文多跳推理的不切实际的简化，其中考虑到先前的步骤，每个下一步都是微不足道的，而现实世界的推理通常需要规划多个可能的证明路径。为了解决这些限制，我们引入了 GraphNIAH，这是一种动态基准，根据评估模型的知识截止日期后发表的科学论文之间的真实引用关系构建，它利用真实世界的信息，同时确保没有基准污染。全自动基准构建管道对这些论文形成的引文图的代表性子图进行采样，并将每个子图转换为具有可验证答案的长上下文 QA 示例。我们使用 GraphNIAH 评估来自 GPT-5.6、Gemini-3 和 Qwen3.5 系列的八个 LLMs。我们发现，随着问题需要更长的推理路径，准确性会下降：在问题深度为 16 和 32 时，GPT-5.6 和 Qwen3.5 模型回答“是/否”问题并不比随机猜测更好，大部分是回答“否”；八个模型中有四个连一道计数题也未答对，而其他模型随着子图大小的增加而变得更糟。这些发现表明，当前的 LLMs 在获得答案之前通常会停止搜索上下文中的引用关系，即使它们需要的每个事实都在上下文中。