沙丘社区
论文

变化是关键：一种基于变化的 LLM 生成文本检测框架

Variation is the Key: A Variation-Based Framework for LLM-Generated Text Detection

Xuecong Li, Xiaohong Li, Qiang Hu, Yao Zhang, Junjie Wang
模型评测评测方法与指标

摘要

检测大语言模型（LLM）生成的文本至关重要但充满挑战。现有检测器依赖不切实际的假设（如白盒设置），或仅依赖文本层面特征，导致检测能力不精确。本文提出一种简单而有效且实用的 LLM 生成文本检测方法 VaryBalance。VaryBalance 的核心在于：与 LLM 生成文本相比，人类文本与其经 LLM 改写版本之间的差异更大。利用这一观察，VaryBalance 通过均值标准差量化这一差异，从而区分人类文本与 LLM 生成文本。全面实验表明，VaryBalance 在 AUROC 上以最高34.3%的幅度超过最先进检测器 Binoculars，并在多种生成模型与语言下保持鲁棒。

变化是关键：一种基于变化的 LLM 生成文本检测框架
图2：VaryBalance 总体工作流。我们首先提示 LLM 改写文本，然后利用评分模型计算每个文本片段的 logPPL 与 VaryBalance 分数。VaryBalance 分数越大，表示越有可能是人类文本。