LLM 对科学传播有何作用？衡量写作实践和阅读体验的变化

由于在写作过程中越来越多地使用 大语言模型，科学传播的风格是否发生了变化？我们通过利用我们创建的两个数据资源来解决自然语言处理领域的这个问题：来自 ACL 选集（2020-2024 年）的 37,000 多篇论文的自然语料库；以及包含 3,000 个人类编写的段落及其 LLM 生成的改进的综合数据集。我们首先实施了一系列历时词汇分析，显示词频和使用上下文随着时间的推移发生了显着变化，表明在某些情况下语义专业化，在其他情况下泛化。拓宽我们的视角，然后我们对一系列更复杂的文体特征进行建模，发现 LLM 修饰的文本更频繁地包含某些句法结构、更复杂和更长的单词以及更低的词汇多样性。最后，我们通过与 20 名领域专家进行的试点注释研究，将写作实践中的这些变化与主观阅读体验联系起来。他们总体认为 LLM 改进的文本更容易理解、更令人兴奋，但也表达了对 LLM 的负面定性态度，凸显了人工智能辅助写作对阅读体验的强烈主观影响。