注意力流：通过故事摘要追踪 LLM 概念参与

尽管 LLM 上下文长度有所增长，但有证据表明，它们跨长文本整合信息的能力并未跟上。我们评估这样一项理解任务：生成小说摘要。当摘要的人类作者压缩一个故事时，他们会揭示他们认为对叙事重要的内容。因此，通过比较人类和 LLM 撰写的摘要，我们可以评估模型是否反映了人类与文本概念接触的模式。为了衡量概念参与度，我们将 150 篇人类撰写的小说摘要中的句子与它们引用的具体章节进行了对齐。我们展示了这种对齐任务的难度，这表明了摘要作为一项任务的复杂性。然后，我们通过 9 个最先进的 LLM 为 150 个参考文本中的每一个生成并对齐附加摘要。比较人类和模型撰写的摘要，我们发现文本之间的风格差异以及人类和 LLM 在整个叙述中如何分配焦点的差异，模型强调文本的结尾。将人类叙事参与与模型注意机制进行比较，提出了叙事理解能力下降的解释和未来发展的目标。我们发布数据集以支持未来的研究。