论文

自闭症写作被错误分类为人工智能生成

The Misclassification of Autistic Writing as AI-Generated

模型评测鲁棒性、公平性与可信度评测

摘要

最近的研究结果表明,人工智能 (AI) 的检测模型无法准确识别人工智能生成的文本,并且可能会对某些少数群体表现出偏见。在本研究中,对自闭症作家的作品经常被标记为人工智能生成的传闻进行了实证检验。大约 60,000 个 Reddit 帖子的语料库分为“可能自闭症”和“一般 Reddit”子语料库,用于比较 OpenAI GPT-2 检测模型输出的概率分布。观察子语料库之间文本特征的差异,并将其与人工智能生成文本的报告特征进行比较。结果显示,虽然两个子语料库中只有不到 2% 的文本被模型标记为人工智能生成,但来自可能患有自闭症的子语料库的文本被标记的数量显着增加。可能患有自闭症的作者的文本特征与人工智能生成的文本之间的联系并不简单。人工智能检测模型的广泛使用可能会对自闭症作家产生偏见,这引发了伦理审查,作者建议对模型本身及其在学术环境中的使用进行进一步的严格审查。