论文
重新思考人工智能生成的文本检测:强大的基线和仍然存在的分布转移问题
Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains
摘要
最近的人工智能生成的文本检测工作经常引入新的基准以及为其量身定制的专用检测器。我们从基线优先的角度重新审视这种做法。在多个基准测试中,我们表明,一个简单的、完全微调的 RoBERTa 可以匹配或超过这些基准测试所围绕的专用检测器。这表明最近的架构复杂性很大程度上并不是驱动强大的分布内检测的原因。剩下的挑战是分配的转变。当主题域或生成模型在测试时发生变化时,相同的强基线会急剧下降,并且简单地添加更多源数据并不能缩小差距。我们确定了一个关键的故障模式:在分布转移下,检测器可以将高可信度的机器标签分配给来自看不见的域的人类编写的文本。然后,我们研究了两种轻量级域自适应方法来解决这个问题:通过 LoRA 适配器使用一阶 MAML 进行 $K$-shot 自适应,以及在自适应检测器之上构建的每样本置信加权集成。总的来说,我们的结果表明,人工智能生成的文本检测的进展不仅应该通过分布内的性能来衡量,还应该通过分布转移下的鲁棒性来衡量。