论文

从辱骂性语言分类到序列标签识别

From Abusive Language Classification to Sequence Labeling Identification

应用与实践通用理解与问答

摘要

工业内容审核必须在严格的延迟限制下处理大量消息流,但大多数滥用语言 (AL) 检测系统依赖于句子级分类 (ALC),它既不能定位滥用范围,也不能识别目标对象。我们将滥用语言识别(ALI)定义为一种序列标记任务,联合提取 AL 范围和目标提及,并评估这种方法是否可以用于文本审核。在来自生产审核管道的试点语料库上,我们将 ALI 与 ALC 在跨域泛化和隐性滥用方面进行比较,并且我们还评估了 AL 和目标跨度检测。 ALI 与 ALC 保持竞争力,同时为主持人提供本地化输出,在隐性滥用方面具有适度且配置敏感的优势。精确的 AL 边界和目标跨度仍然难以恢复。我们通过定性分析来补充这种比较,并讨论关于完整目标跨度链接和 ALI 结构化基准的观点。