关于人工智能生成文本检测的低概率标记的显着性：多尺度不确定性视角

人工智能生成的文本越来越多地与人类写作融合，带来了错误信息、学术滥用和语料库污染等实际风险。虽然统计检测器在效率和泛化方面颇具吸引力，但它们存在两个关键限制。 (i) 样板主导、人类之间共享的样板标记和 LLM 书写可以压倒歧视性信号。 (ii) 脆弱点估计，依赖于单一概率得分，在对抗性操纵下会产生不稳定的决策。为了解决这些问题，我们提出了 Uncertainty，这是一种多尺度不确定性估计器，专注于信息丰富的低概率标记，可以更清楚地揭示分布差异。在本地，它通过平均低概率词元的对数概率来减轻样板主导地位；在全球范围内，它通过 Rényi 熵捕获该低概率区域的分布形状来降低脆性。我们通过条件独立采样进一步将检测器扩展到 Uncertainty++，从而产生更稳定的不确定性估计。跨七个数据集和十六个 LLM 的实验证明了高有效性、泛化性和鲁棒性。我们的代码可在 https://github.com/guoyikai2000/Uncertainty-AIGT 获取。