论文

微调 具有分层提示,可跨注释模式进行稳健的宣传分类

Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

模型评测基准与评测资源

摘要

由于嘈杂、短文本和低注释一致性,社交媒体中的宣传检测具有挑战性。我们引入了一种新的以意图为中心的宣传技术分类法,并将其与已建立的、一致性更高的模式进行比较。沿着三个维度(模型组合、图式效果和提示策略),我们借助四种语言模型(GPT-4.1-nano、Phi-4 14B、Qwen2.5-14B、Qwen3-14B)将分类法评估为分类任务。我们的结果表明,微调 至关重要,因为它将弱零样本基线转换为竞争系统,并揭示了使用基础模型隐藏的方法差异。在各个模式中,Qwen 模型实现了最强的整体性能,并且 Phi-4 14B 始终优于 GPT-4.1-nano。我们的分层提示方法 (HiPP) 在聚合之前预测细粒度的技术,在 微调 之后以及更模糊、低一致性的分类法上特别有用,同时在更简单的模式上保持竞争力。 HQP 数据集使用新的基于意图的标签进行注释,为宣传的战略目标提供了更丰富的视角,并为未来稳健的现实世界检测工作提供了具有挑战性的基准。