论文
当写作风格发生转变时:在类型、时间和人工智能时代的分布变化下对作者身份验证进行基准测试
When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era
摘要
作者身份验证 (AV) 假设作者的写作风格保持足够稳定,可以将其与其他作家的写作风格区分开来。然而,在实践中,这一假设受到了体裁、时间和人工智能辅助写作变化引起的分布变化的挑战。现有的 AV 基准通常单独研究这些因素,并主要关注英语,这限制了我们对现实条件下模型稳健性的理解。我们推出了 AVShift,这是德国第一个系统评估多个分销班次下 AV 的基准。 AVShift 包含跨越 3 个流派、21 年的超过 150,000 个文本对,能够在统一框架内对跨流派、时间和人工智能时代的转变进行受控评估。我们对基于特征、基于嵌入和基于 LLM 的代表性方法进行基准测试。我们的实验表明,经过微调的 LLM 在不同类型上具有最佳的泛化能力,并从风格多样的训练数据中受益匪浅。我们进一步证明,时间漂移是影响 AV 的最强因素之一,随着文档之间时间间隔的增加,性能会显着下降。相比之下,我们没有发现 AVShift 内可测量的人工智能时代分布变化的证据。最后,我们的特征分析揭示了跨流派保持稳定的风格特征,而它们的相对重要性根据特定流派的转变而变化。我们发布 AVShift 和我们的代码以供未来研究。