盲人与大象：长尾发散知识下 LLM 认知近视探究

事实问答 (QA) 通常假设一个规范答案，从而模糊了 大语言模型 (LLM) 是否保留了对长尾事实的不同描述。为了解决这一差距，我们引入了 ElephantBench，这是一种闭卷知识探索，包含通过可审核的基于图形的管道生成的 1,094 个问题。该管道从低曝光度的网络语料库中检索相关文档，识别自然发生的分歧，并将其转换为多帐户 QA 记录。每个答案都会根据原始文档和权威公共网络资源进行验证，然后由人工注释者进行审核。在 32 个模型中，即使是最强的模型也只能在 52.4% 的问题上恢复两个帐户，而在几乎所有剩余问题上，它都会回忆一个帐户但忽略另一个帐户。缩放模型大小和推理时间推理可以提高召回率，但不能消除这种不完整性。语料库分析进一步表明，曝光失衡有利于主导账户，而少数群体曝光度越高，回忆越完整。这些发现使 ElephantBench 成为一种可重复的知识探针，用于诊断参数记忆中的认知近视。更广泛地说，我们基于图的基准构建管道提供了一种高效且可扩展的方法，将长尾语料库转变为可追溯源的知识探针，支持评估和推进下一代 LLM 的认知严谨性的工作。代码可在 https://github.com/Tencent/ElephantBench 获取。