Luminol-AIDetect：基于文本洗牌下的困惑度的快速零样本机器生成文本检测

机器生成文本 (MGT) 检测需要识别跨代模型的结构不变信号，而不是依赖于特定于模型的指纹。在这方面，我们假设虽然 大语言模型 擅长局部语义一致性，但与人类书写相比，它们的自回归性质导致了一种特定的结构脆弱性。我们提出了 Luminol-AIDetect，这是一种新颖的零样本统计方法，通过破坏相干性来暴露这种脆弱性。通过应用一个简单的随机文本洗牌过程，我们证明了由此产生的困惑度转变可以作为一种有原则的、与模型无关的判别式，因为 MGT 显示出洗牌下困惑度的特征分散，这与人类书写文本的更稳定的结构变异性明显不同。 Luminol-AIDetect 利用这种区别来通知其决策过程，其中从输入文本及其打乱版本中提取一些基于困惑度的标量特征，然后通过密度估计和基于集成的预测来执行检测。 Luminol-AIDetect 经过 8 个内容领域、11 种对抗性攻击类型和 18 种语言的评估，展示了最先进的性能，FPR 降低了 17 倍，同时比以前的方法更便宜。