论文
NormDetect:以低误报约束校准机器生成文本检测
NormDetect: Anchored Calibration for Low-False-Positive Detection of Machine-Generated Web Text
摘要
网络平台会筛查由大语言模型撰写的帖子,每次误判都会伤及人类作者,因此检测器必须在极低误报率(FPR)下运行。Binoculars等零样本检测器用冻结语言模型给文本评分,但同形异码字符等不可见编辑会破坏分词,使机器文本的分数落入人类文本范围。Unicode规范化能够撤销这些编辑,不过面对没有可清理痕迹的攻击,在严格FPR约束下,规范化分数仍漏检一半机器文本。我们发现,使用Falcon-7B评分模型对时,基于token统计的预测头在这一FPR下的召回率低于规范化分数,有些还会在部分内容分区错误标记过多人类帖子。我们提出NormDetect,将学习得到的分区预测头锚定于规范化零样本分数。在训练折中遵守人类文本FPR上限选择混合权重,再只用人类文本校准统一阈值。在RAID八个分区、十一种攻击上,NormDetect在0.1%标定FPR下比规范化Binoculars提高召回率5.0个百分点;每个分区的人类文本FPR上界均不超过1%,符合这一上界的其他检测器都没有达到同等召回率。
