论文

STREAM:随机黎曼流与各向异性解码器匹配,用于数字组织病理学图像生成

STREAM: Stochastic Riemannian Flow Matching with Anisotropic Decoder for Digital Histopathology Image Generation

应用与实践内容创作

摘要

合成组织病理学图像生成解决了患者隐私问题和基础模型不断增长的数据需求。现有最先进的组织病理学生成模型使用预训练的视觉基础模型(VFM)作为条件信号。我们证明这产生了条件主导的多样性:在 TCGA-BRCA 上,其输出多样性的 62-75% 可归因于条件信号而不是学习的潜在空间,而从头合成在推理时仍然需要 VFM。相反,我们使用组织病理学 VFM 作为潜在空间本身:它们的补丁标记在单位超球面 $\mathcal{S}^{d-1}$ 上进行 $\ell_2$ 归一化,具有很强的角度优势和内在曲率,激发了黎曼公式。我们提出了 STREAM,这是第一个在组织病理学领域应用黎曼流匹配的框架,分两个阶段:1)桥式随机扰动,在 $\mathcal{S}^{d-1}$ 上建立每个词元的可校正性,用于训练扩散 Transformer,以及 2)一种新颖的解码器训练设计,其噪声协方差在左奇异基中是各向异性的每个标记切线投影速度场雅可比行列式,在其低响应方向上花费大量鲁棒性预算,在其高响应方向上花费少量鲁棒性预算。在 TCGA-BRCA 和 TCGA-COADREAD 中,STREAM 实现了最先进的 gFID,并且在几乎所有组织病理学特定指标上均排名第一。代码和生成图像的公共图库可在 https://chokevin8.github.io/STREAM-Patho/ 上找到。