动态决策学习：罕见疾病异常基础的测试时演化

罕见疾病的临床异常基础常常受到数据稀缺的阻碍，使得有监督的 微调 不切实际，并且单遍推理高度不稳定。我们提出了动态决策学习（DDL），这是一个框架，使冻结的大型视觉语言模型（LVLM）能够通过优化指令并在视觉扰动下巩固预测来改进跨语言和视觉空间的决策。此过程提高了本地化质量并产生基于共识的可靠性评分，以量化模型置信度。脑成像基准的结果（包括具有 281 种病理类型、参数范围从 3B 到 72B 参数的模型的罕见疾病数据集）表明，DDL 在罕见疾病病例上将 mAP@75 提高了 105%，并且优于适应基线和监督 微调。此外，在严重的分布变化和任务难度增加的情况下，DDL 表现出可靠性分数和定位精度之间更强的校准。代码位于：https://lijunrio.github.io/DDL/