“你的人工智能文本不是我的”：在现实假设下重新定义和评估人工智能生成的文本检测

尽管人们普遍认为人工智能生成的文本会带来广泛的社会风险，但人工智能生成的文本检测文献中对于什么构成有害使用还没有达成共识。相反，现有的数据集和方法通常会定义自己的标准并做出自己的假设，有时是隐式的，并且通常仅与现实世界的需求和应用程序松散相关。为了解决这一差距，我们在这里系统地定义了人工智能生成文本的各种概念及其特征。为了研究这些，我们收集了 AITDNA——一种人机共建文本的新基准，它注释有详细的创世信息，例如整个编辑和人工智能交互历史。我们对各种机器生成的文本检测器进行基准测试，发现它们通常只对特定概念表现良好，但作为广泛的检测器却表现不佳。我们公开发布代码和数据。