论文

PathScale-R1:病理图像分析的跨尺度推理

PathScale-R1: Cross-scale Reasoning for Pathological Image Analysis

模型评测基准与评测资源

摘要

病理诊断本质上是多尺度的,需要将低放大倍数下的整体组织结构与较高放大倍数下的细胞形态相整合。然而,现有的病理学基准和视觉语言模型(VLM)仍然主要在单尺度设置下开发,限制了它们学习具有临床意义的多放大推理的能力。此外,简单构建的视觉问答(VQA)任务可能容易受到纯文本或肤浅的视觉快捷方式的影响,从而导致视觉理解的评估不可靠。为了解决这些限制,我们引入了用于抗捷径跨尺度病理推理的基准和训练框架。我们为语义推理问题设计了一种对抗性纯文本筛选策略,为视觉基础问题设计了一种结构控制的干扰采样策略,鼓励模型依赖跨尺度的视觉证据。基于此流程,我们构建了 PathScale-VQA,这是一个高质量的跨尺度病理学 VQA 基准,包含 10,373 个多项选择问题,这些问题基于跨多个放大级别的 1,368 个诊断路径。 PathScale-R1 基于语义推理集,通过难度驱动推理 蒸馏 监督的 微调 进行优化,然后进行带有尺度感知推理结构奖励的强化学习,鼓励跨放大倍数使用证据。大量实验证明了 PathScale-R1 在跨尺度推理任务上的最先进性能,以及向传统单尺度病理学 VQA 的有效迁移。我们的代码可从 https://github.com/iMVR-PL/PathScale-R1 获取。