面向来源感知多模态虚假信息检测的验证笔记本学习

多模态虚假信息核验具有挑战性，因为误导性信号可能来自帖子的不同部分，并需要不同形式的证据。LVLM非常适合这一任务，但其核验性能往往取决于对每个实例所采用的推理流程。现有方法通过更强的提示、检索或深思来改进该流程，却很少保留从先前示例中学到的核验模式。我们提出验证笔记本学习（Verification-Notebook Learning，VNL），一个非参数框架，在推理之前为冻结的LVLM学习一个外部核验流程。VNL从先前的核验经验中构建一个精炼的笔记本，内含决策原则、证据线索与反复出现的陷阱。该笔记本在推理期间保持固定，并指导新示例的核验。VNL既不更新模型参数，也不存储示范样本，而是把学到的知识记录在一个可直接检视的工件中。实验表明，VNL持续优于一组有竞争力的基线。进一步分析显示，验证笔记本在保持紧凑与可解释的同时改进了细粒度来源归因，提供了一种无需模型训练即可积累核验知识的有效途径。