Sem-Detect：人工智能生成的同行评审的语义级别检测

我们如何区分同行评审是由人类撰写还是由人工智能模型生成？我们认为，在这种情况下，作者身份不应仅根据评论的文本特征来确定，还应根据其表达的想法、判断和主张来确定。为此，我们提出了 Sem-Detect，一种用于同行评审的作者身份检测方法，通过将文本特征与声明级语义分析相结合来实施这一原则。 Sem-Detect 将目标评论与同一篇论文的多个 AI 生成的评论进行比较，利用不同 AI 模型倾向于收敛于相似点的观察结果，而人类审稿人会引入更独特和多样化的评论。因此，Sem-Detect 能够将完全人工智能的评论与真实的人类撰写的评论区分开来，包括那些使用 LLM 进行细化但仍反映人类判断的评论。在来自 ICLR 和 NeurIPS 会议的 20,000 多个同行评审的数据集中，Sem-Detect 在二进制设置中的 TPR@0.1% FPR 中比最强基线提高了 25.5%。此外，在三类场景中，我们凭经验表明 LLM 细化保留了人类评论的语义信号，这与完全人工智能生成的文本所表现出的模式仍然不同；因此，经过 LLM 改进的人类评论中只有不到 3.5% 被错误分类为人工智能生成的评论。