论文
SlopShape:识别人工智能生成的商业网络内容
SlopShape: Identifying AI-Generated Commercial Web Content
摘要
单词级检测器几乎可以完美地识别未经编辑的人工智能生成的文本,但文献记录了它们在改写下的脆弱性,并且单词级分数既不能表征文本,也不能识别哪个人工智能模型编写了它。我们询问是否可以从结构特征中更深层次地识别人工智能生成的文本:信息如何呈现、以什么顺序、以什么证据以及以什么声音呈现。我们在商业内容上复制了 StoryScope(Russell 等人,2026),它展示了人工智能生成的小说的这种模式:来自 268 个公司域的 2,250 个 ChatGPT 之前的人类博客文章与来自五个前沿模型的 11,250 个人工智能镜像相对应。由大语言模型应用并在人类黄金注释会话中进行验证(人类-人类 kappa 0.928,人类-模型 0.946)的 214 个特征工具,仅从其 187 个结构特征中检测人工智能帖子,在坚持的公司上为 98.0 宏观 F1,当每个人工智能帖子都用自己的模型重新措辞时,保持不变(98.1)。信号的特征和属性是:人工智能帖子具有整齐、自我宣告的形状,79.3% 的帖子归因于正确的来源,而偶然率为 16.7%,人类帖子占据罕见的结构配置。所有效果都复制 StoryScope 的效果,方向一致且幅度更大。我们发布管道、工具、提示、代码和聚合工件。