当少即是多时：了解标记过滤在 AI 生成的文本检测中何时有用和何时失败

大语言模型（LLM）的快速发展使得人工智能生成的文本检测变得越来越重要。现有的零样本检测器假设更多的 词元级 证据会导致更可靠的检测。然而，我们的实证研究挑战了这一共识：更少的词元有时效果更好，仅保留 40% 即可产生最佳性能，但这种好处并不普遍。使用熵差距分数 (EGS)，我们引入 top-$k$ 累积概率过滤作为诊断探针。在三种代表性设置中，过滤表现出截然不同的行为。我们通过典型集理论分析 EGS，并通过熵校准和分布分析量化其动态。我们发现过滤对弱源 LM 有帮助，其中低熵词元是有害的，但对强源 LM 则失败，因为它们没有明显的危害。我们的工作提供了第一个系统分析，表明一些词元不仅没有信息，而且由于熵校准错误而具有系统危害性，揭示了 词元级 检测中的双向权衡。