论文
Dialectic-Med:通过反事实对抗性多主体辩论减轻诊断幻觉
Dialectic-Med: Mitigating Diagnostic Hallucinations via Counterfactual Adversarial Multi-Agent Debate
摘要
医疗保健领域的多模态 大语言模型 (MLLM) 存在严重的确认偏差,经常产生幻觉视觉细节来支持最初的、可能错误的诊断假设。现有的思想链(CoT)方法缺乏内在的纠正机制,使得它们容易受到错误传播的影响。为了弥补这一差距,我们提出了 Dialectic-Med,这是一种多智能体框架,通过对抗性辩证法强化诊断的严谨性。与静态共识模型不同,Dilectic-Med 协调了三个角色专门代理之间的动态相互作用:提出诊断假设的支持者;配备新颖视觉伪造模块的对手,可以主动检索矛盾的视觉证据来挑战支持者;以及通过加权共识图解决冲突的调解者。通过明确地模拟证伪的认知过程,我们的框架保证了诊断推理紧密地扎根于经过验证的视觉区域。对 MIMIC-CXR-VQA、VQA-RAD 和 PathVQA 的实证评估表明,Dieletic-Med 不仅实现了最先进的性能,而且从根本上增强了推理过程的可信度。除了准确性之外,我们的方法还显着增强了解释 忠实性 并果断地减轻了幻觉,在单代理基线上建立了新标准。