SheafStain:用于空间和生物相干虚拟染色的束理论薛定谔桥
SheafStain: Sheaf-Theoretic Schrödinger Bridge for Spatially and Biologically Coherent Virtual Staining
摘要
目前的虚拟染色方法为癌症诊断和预后中的生物标志物定量提供了时间和成本效益的潜力。然而,十亿像素全幻灯片图像 (WSI) 的逐块推理无法保持空间连续性,从而产生导致与 真值 图像灾难性不匹配的伪影。尽管病理视觉基础模型(VFM)提供了丰富的表示,但它们的自注意力会导致不同的全局上下文对同一物理区域产生不一致的嵌入。我们将这种“上下文污染”形式化并验证为一个层理论问题,其中这些嵌入形成一个预层,其各部分在重叠方面存在分歧,因此没有全局部分限制它们。为了解决这个问题,我们提出了 SheafStain,这是一种将 VFM 特征重新解释为束状切片的新方法,用于空间和生物相干的虚拟染色。具体来说,SheafStain 将类和补丁词元作为束状部分集成到薛定谔桥框架中。类标记锚定了生物一致性,而补丁标记形成了每个位置的空间图。在苏木精\&曙红 (H\&E) 和免疫组织化学 (IHC) 上共同预训练的编码器会产生交叉染色切片,因此单个 VFM 特征空间可监督输入调节和输出染色对齐。与之前评估孤立的 $256 × 256$ 补丁以及随机裁剪或调整 $1024 × 1024$ 真值 大小的工作不同,我们以 $256 × 256$ 进行翻译,并对 HER2、ER、PR 和 Ki-67 上缝合的 $1024 × 1024$ 输出进行评估。 SheafStain 展示了与六种先前方法相比有希望的结果,同时减少了补丁边界缝合伪影。代码可在 https://github.com/deepnoid-ai/SheafStain 获取。