区分人工与真实：评估 LLM 以检测 LLM 生成的内容

随着学生越来越多地使用 大语言模型 (LLM) 来生成自然语言响应和程序代码，人们越来越关注 LLM 本身是否可以用于区分人工智能生成的作品和人类提交的作品。在本文中，我们研究了 LLM 在多种教育任务类型中检测自己生成的内容的程度，包括编程练习、反思性写作和简答题。使用真实的学生回答和 LLM 生成答案的多种变体，我们评估不同提示策略和输出格式下的检测性能。我们的研究解决了三个研究问题：（1）LLM 能够如何准确地跨任务域识别自己的输出，（2）提示设计、响应长度和任务类型等因素如何影响检测有效性，以及（3）LLM 生成的响应的哪些特征有助于成功或失败的检测。我们的研究结果表明，基于 LLM 的检测高度依赖于任务：检测对于编程任务和较长的反思性响应来说明显更可靠，但对于简答题表现不佳，其中 LLM 经常判断自己的输出比真实的学生回答更接近人类。我们进一步发现，提示框架和响应冗长对反思性写作任务的可检测性有显着影响，相对较小的提示变化显着降低了检测准确性，而与编程相关的检测对提示变化更稳健。总之，这些结果凸显了 LLM 自我检测在教育环境中的潜力和局限性，并建议谨慎依赖 LLM 作为识别 AI 生成的学生作业的独立工具。