论文

NormDetect:以低误报约束校准机器生成文本检测

NormDetect: Anchored Calibration for Low-False-Positive Detection of Machine-Generated Web Text

AI 基础设施模型评测AI安全与内容治理基础设施安全与风险评测鲁棒性、公平性与可信度评测

摘要

网络平台会筛查由大语言模型撰写的帖子,每次误判都会伤及人类作者,因此检测器必须在极低误报率(FPR)下运行。Binoculars等零样本检测器用冻结语言模型给文本评分,但同形异码字符等不可见编辑会破坏分词,使机器文本的分数落入人类文本范围。Unicode规范化能够撤销这些编辑,不过面对没有可清理痕迹的攻击,在严格FPR约束下,规范化分数仍漏检一半机器文本。我们发现,使用Falcon-7B评分模型对时,基于token统计的预测头在这一FPR下的召回率低于规范化分数,有些还会在部分内容分区错误标记过多人类帖子。我们提出NormDetect,将学习得到的分区预测头锚定于规范化零样本分数。在训练折中遵守人类文本FPR上限选择混合权重,再只用人类文本校准统一阈值。在RAID八个分区、十一种攻击上,NormDetect在0.1%标定FPR下比规范化Binoculars提高召回率5.0个百分点;每个分区的人类文本FPR上界均不超过1%,符合这一上界的其他检测器都没有达到同等召回率。

NormDetect:以低误报约束校准机器生成文本检测:论文配图
图2:NormDetect概览。分节头锚定归一化Binoculars分数z;κ∗在训练折上设定,τ在人工撰写的校准文本上设定。四面板依次展示:文本归一化与两个冻结评分模型;分节头与归一化Binoculars分数的锚定混合;离线选择混合权重,保留在全部五个训练折上人工文本误报率均不超过0.5%的最佳权重;以及校准后的阈值。