论文
通过 LLM 提示进行作者身份模拟不会逃避作者身份验证方法
Authorship Impersonation via LLM Prompting does not Evade Authorship Verification Methods
摘要
作者身份验证(AV)是确定受质疑的文本是否由特定个人撰写的任务,是法庭语言学的重要组成部分。虽然犯罪者手动模仿作者长期以来一直是历史取证案件中公认的威胁,但 大语言模型 (LLM) 的最新进展提出了新的挑战,因为对手可能会利用这些工具来模仿他人的写作。本研究调查提示的 LLM 是否可以生成令人信服的作者模仿,以及此类输出是否可以逃避现有的法医 AV 系统。使用 GPT-4o 作为对手模型,我们在三种类型的四种提示条件下生成了模拟文本:电子邮件、短信和社交媒体帖子。然后,我们在似然比框架内针对非神经 AV 方法(n-gram 追踪、基于排名的冒名顶替者方法、LambdaG)和神经方法(AdHominem、LUAR、STAR)评估这些输出。结果表明,LLM 生成的文本未能充分复制作者的个性以绕过已建立的反病毒系统。我们还观察到,与真实的负样本相比,某些方法在拒绝模仿文本时取得了更高的准确性。总体而言,这些发现表明,尽管 LLM 具有可访问性,但当前的 AV 系统对于跨多种类型的入门级模仿尝试仍然具有鲁棒性。此外,我们证明这种反直觉的弹性至少部分源于 LLM 生成的文本中固有的更高的词汇多样性和熵。