论文

LLM改写对多模态声明核验的鲁棒性影响

How Robust Is Multimodal Claim Verification to LLM Rewriting?

模型评测鲁棒性、公平性与可信度评测

摘要

LLM会改变生成文本的风格,但这些变化如何影响科学任务中的模型决策仍缺少研究。本文聚焦多模态声明核验,即判断文字声明是否得到给定证据支持。我们使用两种改写策略:自然改写模拟研究者日常使用LLM润色学术文本;受控注入只插入一个与LLM关联的词,以隔离词汇选择的影响。我们评估跨五个VLM家族、参数规模从2B到38B的11个开放权重模型。模型对这些修改具有鲁棒性:多数准确率没有显著下降,相比此前评审分数操纵研究,核验任务明显更稳定。但确实存在一致的概率变化。带有保留语气的条件在几乎所有模型上产生显著变化,强化措辞的效果较弱,而语法纠正、流畅度改善等一般润色影响很小。