论文

大多数生物医学出版物都显示出 LLM 辅助写作的迹象

Most biomedical publications show signs of LLM-assisted writing

模型评测评测方法与指标

摘要

在过去的几年里,LLM 支持的聊天机器人和代理已被广泛用作学术写作工具。 LLM 辅助写作可以消除语言障碍,因此很有价值,但同时也会引起对不当行为和欺诈的担忧。为了为政策决策提供信息,有必要监测学术出版物中 LLM 修改文本的流行程度。尽管最近在这个方向上取得了一些进展,但没有现有的方法可以产生可靠的估计。在这里,我们建议并验证一种新的无偏见方法,用于根据不断变化的词频来估计文本语料库中 LLM 的使用情况。我们将我们的方法应用于 Pubmed Central 的开放获取生物医学论文全文,结果表明,到 2025 年底,89% 的论文显示过多的 LLM 相关词汇。我们还发现,在讨论部分中编写段落时使用 LLM 的可能性 (68%) 是在方法部分中编写段落时使用的可能性 (32%) 的两倍,但即使在方法部分中,LLM 使用的总体流行率也超过 50%。我们相信,我们的估计对于制定未来的指导方针和政策至关重要。