基于双阈值硬例挖掘的跨平台中文攻击性评论检测

中国社交媒体的攻击性评论检测的跨平台部署遭受性能下降。本文提出了一种双阈值硬挖矿方法来解决这个问题。首先，基于纯中文的 RoBERTa 在 COLD 上进行了微调，以建立一个用于公平比较的二进制基线。其次，构建了涵盖微博、小红书、贴吧、知乎的三类精细标签测试集，利用Jaccard和Proxy-A Distance量化了与源的领域距离，系统地揭示了领域转移下基线的退化瓶颈。在此，提出了一种双阈值困难示例挖掘策略。通过预测置信度从未标记的语料库中过滤出高置信度和低置信度的易错样本。该模型仅通过一小组手动标记的硬示例在隐式上下文下进行二次微调，实现了低成本的跨平台领域适应。实验表明，优化模型在四个平台上的性能显着提升。