论文
REAL：通过推理枢轴对齐解决知识密集型视觉问答中的知识冲突
REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment
摘要
由于开放域检索的固有局限性，知识密集型视觉问答（KI-VQA）经常遭受严重的知识冲突。然而，由于缺乏可推广的冲突检测和模型内约束机制来处理冲突证据，现有范例面临着严重的局限性。为了应对这些挑战，我们提出了以推理枢轴新概念为中心的 REAL（推理枢轴对齐）框架。与优先考虑内部自推导的推理步骤不同，推理枢轴作为推理链中的原子单元（节点或边），强调知识联动，通常依赖外部证据来完成推理。在我们构建的 REAL-VQA 数据集的支持下，我们的方法集成了 Reasoning-Pivot Aware SFT (RPA-SFT)，通过将冲突与枢轴提取对齐来训练可泛化的鉴别器，并采用 Reasoning-Pivot Guided Decoding (RPGD)，这是一种模型内解码策略，利用这些枢轴进行有针对性的冲突缓解。跨不同基准的大量实验表明，REAL 显着提高了辨别准确性并实现了最先进的性能，验证了我们的枢轴驱动解析范例的有效性。
