论文
MixDetect:定位AI修改的词语并估计编辑强度
MixDetect: Word-Level Localization and Quantification of AI Editing
摘要
大语言模型越来越多地用于编辑人类编写的文本,而不是从头开始生成整个文本。传统的人工智能文本检测器主要区分人类编写的文本和完全人工智能生成的文本,而最近的人工智能编辑文本方法通常仅提供文本级标签或编辑程度分数。我们介绍 MixDetect,一个用于本地化和量化 AI 编辑的字级框架。 MixDetect单独预测每个单词是否被编辑,并以编辑为条件,预测编辑的程度,从而可以单独估计编辑范围和编辑强度。在训练期间,源编辑对被对齐以构建单词级监督,而推理仅需要输入文本。实验表明,MixDetect 可以准确定位 AI 编辑的单词,反映编辑强度的差异,并揭示不同编辑程度和操作的不同范围-强度模式。在额外的人工智能编辑下,整体人工智能编辑量会增加,在人工编辑人工智能生成的文本时会减少,在普通的人对人编辑下几乎保持不变。聚合的文本级预测在二元和三元人工智能文本分类上也表现良好,并且在域和生成器转换下仍然有效。这些结果表明,通过识别人工智能编辑发生的位置以及编辑的实质性程度,可以超越单一作者标签或编辑程度评分来分析人工智能编辑。