论文

何时打破配对?医疗视觉上下文学习的训练课程

When to Unpair: Regulating Pairing Dependence in Medical Visual In-Context Learning

模型训练模型评测应用与实践监督微调与指令调优鲁棒性、公平性与可信度评测行业应用

摘要

视觉上下文学习 (ICL) 非常适合标签稀缺的医学成像,它使用支持图像标签对来演示输入输出映射,而标签共同指示所请求的任务。我们通过测试时间混乱来诊断对个体配对的依赖性,该混乱将每个支持标签重新分配给另一个支持图像,同时保留查询、支持图像和标签多重集。由此产生的配对差距(定义为随机减去匹配性能)表明,所有四个已发布的模型都在不同程度上依赖于配对。对配对训练模型的进一步分析揭示了与支持相关的虚假区域和病变大小偏差,即使有真实的、未改变的支持,以及对错误注册的支持标签的敏感性。为了调节这种依赖性,我们引入了后期取消配对课程(LUC),该课程从匹配训练开始,然后应用随机取消配对,将每个支持标签替换为同一集中的另一个支持标签。 LUC 几乎缩小了两个主干上的配对差距,同时保持或改善了匹配支持 所有评估任务类型的性能,收益扩展到保留任务和跨数据集事件。它还可以减轻这些故障模式。在 BraTS 全肿瘤分割上,匹配支持 DSC 从 0.733 上升到 0.857,而差距从 -0.184 缩小到 -0.008。在发布的模型中,通过随机取消配对进行简短微调可以缩小差距。在训练开始时放置相同数量的不配对时期的反向课程留下了很大的差距。这表明配对依赖性是由训练顺序决定的,而不仅仅是由不配对训练的数量决定的。

何时打破配对?医疗视觉上下文学习的训练课程:论文原图
图 1:哪个标签位于哪个支持图像上会改变预测。 (a) 灰色:每个支持图像都有自己的标签;红色:一种混乱,将每个标签移动到另一个图像上,并保持标签多重集不变。 (b) K=4K{=}4 处的一个 BraTS 验证案例,具有匹配的支撑和三个混乱;每行旁边是模型训练的支持集及其时间表 p⁡(e)p(e)。绿色勾勒出基本事实;数字为 DSC。 (c) BraTS 全肿瘤评估中的配对间隙和匹配支持 DSC。