通过主动感知在全幻灯片病理图像中进行代理视觉推理

全幻灯片视觉推理需要识别十亿像素病理学幻灯片中的稀疏诊断证据并整合跨空间尺度的观察结果。现有的 WSI 方法要么将密集采样的斑块压缩为全局表示，要么使用带有启发式区域选择的预训练视觉语言模型，从而削弱了预测和形态学之间的联系，或者缺乏经过病理学训练的观察策略。我们提出了 AdaptivePath，一个主动感知框架，它将 WSI 证据获取制定为顺序决策。导航器从病理学家审查的标签中学习与问题无关的异常驱动导航，以选择观察位置和空间范围，避免昂贵的特定问题轨迹注释。我们通过交替表示学习和近端策略优化来训练该策略，然后通过具有几何和外观一致性目标的 微调 来稳定焦点轨迹。在推理过程中，导航器在有限的 ROI 预算下分层获取从低到高放大倍数的稀疏观测值。形态学解释器将观察结果转化为问题条件证据，而审议器则评估证据并跨放大倍数修改中间答案。仲裁者整合审议历史来产生最终答案。 AdaptivePath 在 WSI 和区域病理学 VQA 基准上实现了最先进的零样本性能，并且在六个 TCGA 队列中的癌症亚型分类准确率达到 80.14%。在一项盲法诊断效用研究中，病理学家使用 AdaptivePath 选择的观察序列实现了 82.9% 的准确率。这些结果表明，习得的主动感知能够在十亿像素病理切片上进行有效且可追踪的视觉推理。