我们还需要人类介入吗？ TikTok 仇恨语音检测主动学习中的人类与 LLM 注释

注释数据仍然是监督 NLP 的一个成本高昂的瓶颈。主动学习 (AL) 通过仅选择信息最丰富的实例来减少所需的人工标签数量，而指令调整的 LLM 从另一侧攻击相同的瓶颈，使标签足够便宜以注释整个语料库。这就提出了两个问题：LLM 标签能否取代 AL 循环中的人类标签，以及当整个语料库可以廉价标记时 AL 是否仍然是必要的？我们通过在 278K 德国政治 TikTok 评论的新数据集上训练有监督的仇恨言论分类器来研究这两个问题，并在匹配条件下比较人类注释和 LLM 注释。对于闭源 (GPT-5.2) 和开放权重 (Qwen3.5-122B-A10B) LLM，LLM 注释在规模上优于人工监督分类器，成本约为人类监督分类器的十分之一，并且在软标签评估下该优势非常强大。它取决于注释界面：只有反映人工注释任务的两个问题分解才能解锁它。与我们的预过滤池中的随机采样相比，AL 没有提供可靠的优势。错误结构取决于 LLM：只有 GPT-5.2 符合人类 FP/FN 平衡，而其他变体则过度标记边境控制和经济竞争话语。人类作为评估者仍然至关重要；对于训练标签，问题转移到哪个 LLM、哪个接口以及池的形状。