语言引导肺部筛查的语义拓扑图推理

由自由文本临床指令驱动的医学图像分割是计算机辅助诊断的关键前沿。然而，现有的多模态和基础模型与临床报告的语义模糊性作斗争，并且无法消除低对比度扫描中复杂的解剖重叠的歧义。此外，完全 微调 这些在有限的医疗数据集上的大规模架构总是会导致严重的过度拟合。为了应对这些挑战，我们提出了一种新颖的语义拓扑图推理（STGR）框架，用于语言引导的肺部筛查。我们的方法巧妙地将 大语言模型 (LLaMA-3-V) 的推理能力与视觉基础模型 (MedSAM) 的零样本描绘相结合。具体来说，我们引入了文本到视觉意图 蒸馏 (TVID) 模块来提取精确的诊断指导。为了解决解剖歧义，我们将掩模选择制定为动态图推理问题，其中候选病变被建模为节点和边缘捕获空间和语义亲和力。为了确保部署可行性，我们引入了选择性非对称 微调 (SAFT) 策略，该策略更新的参数少于 1%。对 LIDC-IDRI 和 LNDb 数据集进行严格的 5 倍交叉验证表明，我们的框架建立了新的最先进技术。值得注意的是，它在 LIDC-IDRI 上实现了 81.5% 的 Dice 相似系数 (DSC)，比 LISA 等领先的基于 LLM 的工具高出 5% 以上。至关重要的是，我们的 SAFT 策略充当强大的正则化器，产生卓越的交叉折叠稳定性（0.6% DSC 方差），并为稳健、情境感知的临床部署铺平道路。