论文
AraDetox:多方言阿拉伯语排毒数据集
AraDetox: A Multi-Dialect Arabic Detoxification Dataset
摘要
阿拉伯语有害语言检测受到了相当多的关注,但阿拉伯语文本解毒仍然没有得到充分探索。我们介绍 AraDetox,这是一个多方言阿拉伯语解毒数据集,包含使用 GPT-5 和 Gemini 2.5 Flash 生成的 10,500 个有害社交媒体帖子和 84,000 个解毒重写,涵盖现代标准阿拉伯语、海湾语、黎凡特语和埃及阿拉伯语。通过人类评估和词汇变化、语义保存、情感和方言风格的自动分析来评估生成的输出。结果表明,解毒主要是一项保留意义的重写任务:大量的词汇和结构重新表述伴随着一致的高语义相似性。人类评估证实了有害语言的成功删除,同时在很大程度上保留了原始含义。方言分析进一步表明,生成的变体与参考阿拉伯方言语料库表现出可测量的风格一致性。与现有资源的比较突出了两种互补的解毒方法:最小编辑词汇替换和保留意义的重新表述。我们的研究结果表明,可以通过 LLM 辅助生成和人工验证来构建大规模的阿拉伯解毒资源。该数据集可在 https://github.com/ArabicNLP-UK/AraDetox 上公开获取,以支持阿拉伯语解毒、安全文本生成和多方言阿拉伯语 NLP 的未来研究。