CellDETR：从组织病理学图像中学习可扩展细胞表示的检测引导框架

摘要

病理学基础模型的最新进展极大地改进了从全幻灯片图像 (WSI) 进行的斑块和幻灯片级表示学习。然而，细胞级表示学习仍未得到充分探索，限制了细胞解析的可解释性、生物发现和临床转化。我们提出了 CellDETR，这是一种基于 Deformable DETR 构建的检测引导框架，用于从 WSI 中学习可扩展的细胞表示。通过引入位置特征解耦和框约束注意机制，CellDETR 能够自动提取细胞级嵌入，并在 PanNuke 数据的监督细胞分类方面优于现有的最先进方法。此外，通过结合对比学习设计，我们构建了一个基于 CellDETR 的预训练模型，用于从未标记的 WSI 中进行可扩展的细胞表示学习，从而提高了下游细胞分类性能。此外，我们表明，在使用 Xenium 空间转录组学衍生的细胞注释进行预训练后，CellDETR 实现了准确的跨数据集细胞分类，证明了所学习的细胞嵌入的可转移性和生物相关性。 CellDETR 共同为可解释的计算病理学提供了通向通用细胞级表示学习框架的可扩展途径