MedPrune：针对医疗 VQA 任务的拓扑高效多模态多智能体通信演进

摘要

虽然医学多模态大语言模型 (Med-MLLM) 推进了医学视觉问答 (VQA)，但现有的受临床工作流程启发的多智能体框架受到交互模式和冗余通信拓扑导致的过多计算开销的困扰。在本文中，我们提出了 MedPrune，一种高效的医疗多模态多智能体协作框架，可以动态地从通信拓扑中修剪节点和边缘，以增强推理能力和token效率。具体来说，我们首先将诊断过程制定为异构通信图，其中节点代表来自各个部门的专家智能体，边捕获部门内和部门间的交互。在此图的基础上，我们引入了两种稀疏化机制来实现自适应协作进化：（1）异构节点稀疏化，通过强化学习驱动的拓扑优化消除与当前多模态问题无关的任务无关专家智能体；（2）异构边缘稀疏化，通过联合优化任务性能和拓扑复杂性，选择性地仅保留诊断上最显着的部门内和部门间连接。在全套和少样本训练设置下进行的广泛医学 VQA 实验证明，MedPrune 超越了多智能体基线，并通过强大的对抗鲁棒性提高了token效率。

MedPrune：针对医疗 VQA 任务的拓扑高效多模态多智能体通信演进的原论文方法或结果图 — 图 1：我们的方法与现有的多智能体方法的比较。固定模板演进依赖于静态和预定义的通信模板，这会由于嘈杂的冗余讨论而导致诊断性能下降。自适应进化还可以在最后阶段产生更小的通信子图，但其迭代拓扑细化仍然会产生大量的token开销，无法实现真正的医疗效率增益。相比之下，我们的 MedPrune 同时动态修剪不相关的医疗智能体和冗余边缘，从而实现token高效的多部门诊断推理（Rounds $T_{2}\ll T_{1}$）。