使用可解释的文体特征检测 GPT 辅助写作

区分 GPT 协助的学生写作与独立创作的学生写作已成为学术界的一个关键挑战。本文评估了仅从提交的文本中提取的可解释文体特征的辨别能力。使用来自 90 位独立编写和在 ChatGPT 协助下编写的参与者的数据，我们评估了八个机器学习分类器，同时在验证过程中将来自同一参与者的数据保留在一起。在保留的测试集上，随机森林的 ROC-AUC 为 0.87，F1 得分为 0.84，假阳性率和假阴性率分别为 22.2% 和 11.1%。 SHAP 分析表明词汇和语法特征驱动了最终的预测。研究结果表明，透明的文本固有特征为检测 GPT 辅助书写提供了可测量的信号。