论文
理由是否必要和充分?调整 LLM 以进行可解释的错误信息检测
Are Rationales Necessary and Sufficient? Tuning LLMs for Explainable Misinformation Detection
摘要
社交媒体平台上错误信息的迅速传播已成为一项艰巨的挑战。为了减少其扩散,错误信息检测(MD)已成为一个关键的研究课题。基于小模型的传统 MD 方法通常通过黑盒过程执行二元分类。最近,大语言模型 (LLM) 的兴起使得可解释的 MD 成为可能,其中模型生成解释其决策的基本原理,从而提高透明度。现有的可解释 MD 方法主要侧重于制作复杂的提示,以从现成的 LLM 中得出基本原理。在这项工作中,我们提出了一个专门针对可解释 MD 微调专用 LLM 的管道。我们的管道首先收集经过事实核查的大规模文章,然后使用多个强大的 LLM 来生成准确性预测和理由。为了确保高质量的训练数据,我们利用过滤策略,仅选择 微调 的正确实例。虽然这个流程直观且普遍,但我们的实验表明,仅基于标签正确性的简单过滤在实践中是不够的,并且存在两个关键限制:(1)粗粒度标签导致理由不足:仅基于二进制标签过滤的理由不足以充分支持他们的决策; (2)过度验证行为导致不必要的理由:更强的LLM往往会表现出过度验证行为,产生过于冗长和不必要的理由。为了解决这些问题,我们引入了 LONSREX,这是一种新颖的数据合成管道,用于查找可解释 MD 的必要和充分理由。具体来说,我们提出了一个指标来量化每个验证步骤对最终预测的贡献,从而评估其必要性和充分性。实验结果证明了 LONSREX 的有效性。