乳腺超声诊断中通才-专家模型协作的引导和反馈框架

乳腺超声 (BUS) 广泛用于乳腺癌诊断，但仍依赖于操作者。虽然深度学习显示出希望，但确保诊断的可靠性和可解释性仍具有挑战性。最近的多模态 大语言模型 (MLLM) 由于领域知识有限，经常生成虚假描述，从而误导下游专家模型并损害临床有效性。为了应对这些挑战，我们提出了用于协同 MLLM 专家交互的引导和反馈 (BooF) 模型协作框架。具体来说，在启动阶段，MLLM 以 BI-RADS 词典和初步良恶性视觉专家预测为指导，使其能够将一般推理转移到 BUS 分析，同时避免幻觉。随后，反馈阶段通过轻量级注意力门控跨模态融合模块将这些描述与视觉特征集成。这使得专家能够利用文本反馈，同时自适应地过滤噪音。对多个 BUS 数据集的大量实验表明，BooF 在诊断准确性和可解释性方面远远优于最先进的方法。