论文

MedVeriSeg:教授类似 LISA 的医疗分割模型来验证查询有效性,无需额外训练

MedVeriSeg: Teaching LISA-Like Medical Segmentation Models to Verify Query Validity Without Extra Training

模型推理推理验证与自校正

摘要

尽管基于文本提示的医学图像分割最近取得了进展,但现有的类似 LISA 的基于 MLLM 的方法通常会生成掩模,无论查询中指定的目标是否存在,从而导致幻觉分割。在这项工作中,我们提出了 MedVeriSeg,一种 无需训练 查询验证框架,使类似 LISA 的医学分割模型能够拒绝错误的分割查询。 MedVeriSeg 首先通过相似性响应质量评分模块量化 [SEG] 标记和图像特征之间的响应质量。为了进一步提高鲁棒性,它采用了轻量级路由多代理验证模块,该模块将定量评分证据与定性代理证据融合在一起,全面验证查询的有效性。为了支持系统评估,我们构建了 MedVeriSeg-Bench,这是一个专为医学图像分割中的查询验证而设计的基准。实验结果表明,MedVeriSeg 有效识别错误分割查询并减少幻觉分割,同时保持有效查询的高接受率,从而在很大程度上保留了类 LISA 医学分割模型的分割效用。