论文

超越 ViT 词元:用于细胞级密集预测的掩模扩散预训练卷积病理学基础模型

Beyond ViT Tokens: Masked-Diffusion Pretrained Convolutional Pathology Foundation Model for Cell-Level Dense Prediction

模型训练预训练

摘要

细胞级密集预测是计算病理学的核心,但由于细粒度的组织学结构、强烈的域转移和昂贵的密集注释,仍然具有挑战性。现有的基于 ViT 的病理学基础模型依赖于补丁标记化,这可能会破坏空间连续性并削弱细胞级预测所需的局部形态细节。为了解决这个问题,我们提出了 Masked-Diffusion 卷积基础模型,称为 ConvNeXt Masked-Diffusion (CMD),这是一种用于密集病理表示学习的自监督卷积生成预训练框架。 CMD 使用全卷积 ConvNeXt-UNet 主干网,在像素空间中执行掩模扩散预训练,并通过自适应归一化合并冷冻病理学基础模型特征。实验结果表明,CMD 始终优于现有的基于 ViT 的病理基础模型,甚至超越了最先进的端到端分割方法,而 微调 在多个病理密集预测任务中仅包含少量任务特定参数。在有限的注释设置下,这一优势尤其明显,CMD 表现出更强的鲁棒性和泛化能力。我们的研究结果表明,纯卷积架构还可以作为细胞级密集预测的竞争性病理学基础模型,在当前 ViT 主导的范式中实现领先的性能,并提供可扩展的高性能解决方案,更好地保留组织学结构先验,以实现细粒度的病理学理解。