论文
更多背景、更大模型,还是道德知识?政治文本中施瓦茨价值检测的系统研究
More Context, Larger Models, or Moral Knowledge? A Systematic Study of Schwartz Value Detection in Political Texts
摘要
在政治文本中识别施瓦茨的价值观是很困难的:线索通常是隐含的,相邻的价值观之间存在细微的差别。人们普遍认为有两种补救措施会有所帮助:更多的周围文档文本和明确的道德知识。基于知识的检索已经改善了其他地方的基准,但是否在此处进行转移尚未经过测试,因为已发布的系统会同时改变上下文、知识和模型系列。我们在 ValuesML/Touché ValueEval 格式的匹配条件下分离这些因素。输入范围从目标句子到本地窗口再到完整文档。检索要么不存在,要么取自精心策划的道德知识库,通过早期、晚期或交叉注意融合注入。将受监督的 DeBERTa-v3 编码器与零样本 LLM 从 12B 到 123B 进行比较。更多上下文并不总是更好:完整文档输入将编码器提高了 2.5-3.8 个宏 F1 点,但并不能始终如一地帮助 LLM。检索到的知识有助于更可靠地改进早期融合下的每个模型系列和上下文。替换随机知识库条目的控制显示各家族获得不同的收益:LLM 来自相关性,编码器来自暴露于价值本体。更大的编码器和更大的 LLM 都不能保证增益,并且早期融合的性能优于两种可训练变体。价值敏感的NLP应该联合评估上下文、知识和模型族。