漂移检查器：利用原子贡献声明探索和测量科学漂移

科学摘要将贡献与背景、动机和元语言混合在一起，因此按原样阅读它们的工具无法将某个领域产生的内容与其讨论的内容分开。我们推出了 Drift Inspector，这是一个开源系统，用于测量和探索研究领域如何在原子贡献声明 (ACC) 层面上随时间变化：大语言模型在分析前从每个摘要中提取的脱离语境的、具有贡献的命题。该系统将多年来的这些主张聚集成一个交互式地图，其中每个趋势都可以追溯到其背后的主张和论文。应用于六年的 EMNLP 中，它表明该领域从经典的 NLP 任务转向 LLM 时代的能力，例如推理和多模态——这是一个关键词或整个摘要都变得模糊的运动。发布的数据超出了 EMNLP 范围：同一管道处理了完整的 ACL 选集（346k 声明、80k 摘要、423 个地点）。提取经过人工验证，并根据外部手动构建的分类法进行聚类检查。