跨领域和模型的人工智能生成文本检测中语言特征的系统分析

可解释的语言特征提供了一种很有前途的方法来解释为什么给定的文本看起来是机器生成的，特别是对于非专家用户而言。然而，关于哪些特征可靠地表明 LLM 生成的文本的现有发现在特征集、模型和文本域中仍然支离破碎。为了解决这一差距，我们进行了大规模的实证研究，评估用于表征人工智能生成文本的语言信号的鲁棒性。我们的分析涵盖了跨模型和跨域泛化设置下 27 个 LLM 和 10 个文本域的输出的 284 个可解释的语言特征。我们证明，仅基于语言特征的分类器可以可靠地区分人工智能生成的文本和人类编写的文本。然而，许多先前提出的指标被证明强烈依赖于上下文，除了词汇丰富度的测量之外，词汇丰富度的测量在模型族和文本域中仍然具有强大的信号。这些结果证明了哪些语言信号可以跨上下文进行概括，并为对人工智能生成的语言进行更可靠、可解释的分析奠定了基础。