PBSBench：血液病理学全玻片图像解释的多级视觉语言框架和基准

外周血涂片 (PBS) 是血液病理学中一项重要的显微镜检查，可产生全玻片成像 (WSI)。与实体组织病理学不同，PBS 解释侧重于单个细胞形态而不是组织结构，这使其在视觉特征和诊断推理方面都截然不同。然而，当前用于病理学的多模态 大语言模型 (MLLM) 主要是在固体组织 WSI 上开发的，很难推广到 PBS。为了弥补这一差距，我们构建了 PBSInstr，这是第一个用于 PBS 解释的视觉语言数据集，包含 353 个 PBS WSI 与微观印象段落以及 29k 个细胞级图像作物，并用细胞类型标签和形态描述进行注释。为了便于指令调整，PBSInstr 还包括用于细胞作物的 27k 个问答 (QA) 对和用于 PBS 幻灯片的 1,286 个 QA 对。在 PBSInstr 的基础上，我们开发了 PBS-VL，这是一种根据血液病理学定制的视觉语言模型，用于在细胞和载玻片水平上进行多级 PBS 解释。为了全面评估 PBS 理解，我们构建了 PBSBench，这是一个视觉问答 (VQA) 基准，具有四个问题类别和六个 PBS 解释任务。实验表明 PBS-VL 优于现有的通用和病理 MLLM，强调了 PBS 特定数据的价值。我们发布代码、数据集和模型权重以促进未来的研究。我们提出的框架为开发支持血液病理学决策的实用人工智能助手奠定了基础。